Memulai dengan transformasi visual khusus - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memulai dengan transformasi visual khusus

Untuk membuat transformasi visual khusus, Anda melalui langkah-langkah berikut.

  • Langkah 1. Buat file konfigurasi JSON

  • Langkah 2. Menerapkan logika transformasi

  • Langkah 3. Validasi transformasi visual kustom

  • Langkah 4. Perbarui transformasi visual khusus sesuai kebutuhan

  • Langkah 5. Gunakan transformasi visual khusus di AWS Glue Studio

Mulailah dengan menyiapkan bucket Amazon S3 dan lanjutkan ke Langkah 1. Buat file konfigurasi JSON.

Prasyarat

Transformasi yang disediakan pelanggan berada dalam akun pelanggan. AWS Akun itu memiliki transformasi dan karenanya memiliki semua izin untuk melihat (mencari dan menggunakan), mengedit, atau menghapusnya.

Untuk menggunakan transformasi khususAWS Glue Studio, Anda harus membuat dan mengunggah dua file ke bucket aset Amazon S3 di akun tersebutAWS:

  • File Python - berisi fungsi transformasi

  • File JSON - menjelaskan transformasi. Ini juga dikenal sebagai file konfigurasi yang diperlukan untuk mendefinisikan transformasi.

Untuk memasangkan file bersama-sama, gunakan nama yang sama untuk keduanya. Misalnya:

  • MyTransform.json

  • myTransform.py

Secara opsional, Anda dapat memberikan transformasi visual kustom Anda ikon kustom dengan menyediakan file SVG yang berisi ikon. Untuk memasangkan file bersama-sama, gunakan nama yang sama untuk ikon:

  • myTransform.svg

AWS Glue Studioakan secara otomatis mencocokkan mereka menggunakan nama file masing-masing. Nama file tidak boleh sama untuk modul yang ada.

AWS Glue Studioakan mengimpor file Anda sebagai modul (misalnya,import myTransform) dalam skrip pekerjaan Anda. Oleh karena itu, nama file Anda harus mengikuti aturan penamaan yang sama yang ditetapkan untuk nama variabel python (pengidentifikasi). Secara khusus, mereka harus mulai dengan huruf atau garis bawah dan kemudian seluruhnya terdiri dari huruf, digit, dan/atau garis bawah.

catatan

Pastikan nama file transform Anda tidak bertentangan dengan modul python yang dimuat (misalnya, sys, array, copy dll.) Untuk menghindari masalah runtime yang tidak terduga.

Menyiapkan bucket Amazon S3

Transformasi yang Anda buat disimpan di Amazon S3 dan dimiliki oleh AWS akun Anda. Anda membuat transformasi visual kustom baru hanya dengan mengunggah file (json dan py) ke folder aset Amazon S3 tempat semua skrip pekerjaan saat ini disimpan (misalnya,). s3://aws-glue-assets-<accountid>-<region>/transforms Jika menggunakan ikon khusus, unggah juga. Secara default, AWS Glue Studio akan membaca semua file.json dari folder /transforms di bucket S3 yang sama.