Mengedit atau mengunggah sebuah skrip tugas

Gunakan editor AWS Glue Studio visual untuk mengedit skrip pekerjaan atau mengunggah skrip Anda sendiri.

Anda dapat menggunakan editor visual untuk mengedit node pekerjaan hanya jika pekerjaan dibuat denganAWS Glue Studio. Jika pekerjaan dibuat menggunakan AWS Glue konsol, melalui perintah API, atau dengan antarmuka baris perintah (CLI), Anda dapat menggunakan editor skrip AWS Glue Studio untuk mengedit skrip pekerjaan, parameter, dan jadwal. Anda juga dapat mengedit skrip untuk pekerjaan yang dibuat AWS Glue Studio dengan mengonversi pekerjaan ke mode khusus skrip.

Untuk mengedit skrip tugas atau mengunggah skrip Anda sendiri

1. Jika membuat pekerjaan baru, pada halaman Jobs, pilih opsi editor skrip Spark untuk membuat pekerjaan Spark atau pilih editor skrip Python Shell untuk membuat pekerjaan shell Python. Anda dapat menulis skrip baru, atau mengunggah skrip yang ada. Jika Anda memilih editor skrip Spark, Anda dapat menulis atau mengunggah skrip Scala atau Python. Jika Anda memilih editor skrip Python Shell, Anda hanya dapat menulis atau mengunggah skrip Python.

   Setelah memilih opsi untuk membuat pekerjaan baru, di bagian Opsi yang muncul, Anda dapat memilih untuk memulai dengan skrip pemula (Buat skrip baru dengan kode boilerplate), atau Anda dapat mengunggah file lokal untuk digunakan sebagai skrip pekerjaan.

   Jika Anda memilih editor skrip Spark, Anda dapat mengunggah file skrip Python atau Scala. Skrip Scala harus memiliki ekstensi file .scala. Skrip Python harus diakui sebagai tipe file Python. Jika Anda memilih editor skrip Python Shell, Anda hanya dapat mengunggah file skrip Python.

   Setelah selesai membuat pilihan, pilih Buat untuk membuat pekerjaan dan buka editor visual.

2. Pergi ke editor tugas visual untuk tugas baru atau yang sudah disimpan, dan kemudian pilih tab Skrip.

3. Jika Anda tidak membuat pekerjaan baru menggunakan salah satu opsi editor skrip, dan Anda belum pernah mengedit skrip untuk pekerjaan yang ada, tab Script menampilkan judul Script (Terkunci). Ini artinya editor skrip dalam mode baca-saja. Pilih edit skrip untuk membuka kunci skrip untuk mengedit.

   Untuk membuat skrip dapat diedit, AWS Glue Studio konversi pekerjaan Anda dari pekerjaan visual ke pekerjaan skrip saja. Jika Anda membuka kunci skrip untuk diedit, Anda tidak dapat menggunakan editor visual lagi untuk pekerjaan ini setelah Anda menyimpannya.

   Di jendela konfirmasi, pilih Konfirmasi untuk melanjutkan atau Batalkan untuk menjaga agar tugas tetap tersedia untuk pengeditan visual.

   Jika Anda memilih Konfirmasi, tab Visual tidak lagi muncul di editor. Anda dapat menggunakan AWS Glue Studio untuk memodifikasi skrip menggunakan editor skrip, memodifikasi detail pekerjaan atau jadwal, atau melihat pekerjaan berjalan.

   catatan

   Sampai Anda menyimpan pekerjaan, konversi ke pekerjaan skrip saja tidak permanen. Jika Anda menyegarkan halaman web konsol, atau menutup pekerjaan sebelum menyimpannya dan membukanya kembali di editor visual, Anda masih dapat mengedit masing-masing node di editor visual.

4. Mengedit skrip sesuai kebutuhan.

   Setelah selesai mengedit skrip, pilih Simpan untuk menyimpan tugas dan mengubah tugas secara permanen dari visual menjadi skrip-saja.

5. (Opsional) Anda dapat mengunduh skrip dari AWS Glue Studio konsol dengan memilih tombol Unduh pada tab Skrip. Bila Anda memilih tombol ini, jendela peramban baru akan terbuka, menampilkan skrip dari lokasinya di Amazon S3. Parameter Nama file skrip dan Path skrip dalam tab Detail tugas dari tugas tersebut menentukan nama dan lokasi file skrip di Amazon S3.

   

   Ketika Anda menyimpan tugas, AWS Glue menyimpan skrip tugas di lokasi yang ditentukan oleh bidang ini. Jika Anda memodifikasi file skrip di lokasi ini dalam Amazon S3, AWS Glue Studio akan memuat skrip yang dimodifikasi saat berikutnya Anda mengedit pekerjaan.

Membuat dan mengedit skrip Scala di AWS Glue Studio

Ketika Anda memilih editor skrip untuk membuat pekerjaan, secara default, bahasa pemrograman pekerjaan diatur kePython 3. Jika Anda memilih untuk menulis skrip baru daripada mengunggah skrip, AWS Glue Studio mulailah skrip baru dengan teks boilerplate yang ditulis dengan Python. Jika Anda ingin menulis skrip Scala sebagai gantinya, Anda harus terlebih dahulu mengkonfigurasi editor skrip untuk menggunakan Scala.

catatan

Jika Anda memilih Scala sebagai bahasa pemrograman untuk pekerjaan itu dan menggunakan editor visual untuk merancang pekerjaan Anda, skrip pekerjaan yang dihasilkan ditulis dalam Scala, dan tidak diperlukan tindakan lebih lanjut.

Untuk menulis skrip Scala baru di AWS Glue Studio

1. Buat pekerjaan baru dengan memilih opsi editor skrip Spark.

2. Di bawah Opsi, pilih Buat skrip baru dengan kode boilerplate.

3. Pilih tab Job details dan atur Language ke Scala (bukanPython 3).

   catatan

   Properti Type untuk pekerjaan secara otomatis diatur ke Spark ketika Anda memilih opsi editor skrip Spark untuk membuat pekerjaan.

4. Pilih tab Script.

5. Hapus teks boilerplate Python. Anda dapat menggantinya dengan teks boilerplate Scala berikut.

   import com.amazonaws.services.glue.{DynamicRecord, GlueContext}
   import org.apache.spark.SparkContext
   import com.amazonaws.services.glue.util.JsonOptions
   import com.amazonaws.services.glue.util.GlueArgParser
   import com.amazonaws.services.glue.util.Job
   
   object MyScript {
     def main(args: Array[String]): Unit = {
       val sc: SparkContext = new SparkContext()
       val glueContext: GlueContext = new GlueContext(sc)
   
       }
   }

6. Tulis skrip pekerjaan Scala Anda di editor. Tambahkan import pernyataan tambahan sesuai kebutuhan.

Membuat dan mengedit pekerjaan shell Python di AWS Glue Studio

Saat Anda memilih editor skrip shell Python untuk membuat pekerjaan, Anda dapat mengunggah skrip Python yang ada, atau menulis yang baru. Jika Anda memilih untuk menulis skrip baru, kode boilerplate ditambahkan ke skrip pekerjaan Python baru.

Untuk membuat pekerjaan shell Python baru

Lihat instruksi diMemulai pekerjaan di AWS Glue Studio.

Properti pekerjaan yang didukung untuk pekerjaan shell Python tidak sama dengan yang didukung untuk pekerjaan Spark. Daftar berikut menjelaskan perubahan parameter pekerjaan yang tersedia untuk pekerjaan shell Python pada tab Job details.

• Properti Type untuk pekerjaan secara otomatis diatur ke Python Shell dan tidak dapat diubah.

• Alih-alih Bahasa, ada properti versi Python untuk pekerjaan itu. Saat ini, pekerjaan shell Python dibuat menggunakan AWS Glue Studio Python 3.6.

• Properti versi Glue tidak tersedia, karena tidak berlaku untuk pekerjaan shell Python.

• Alih-alih jenis Pekerja dan Jumlah pekerja, properti unit pemrosesan Data ditampilkan sebagai gantinya. Properti pekerjaan ini menentukan berapa banyak unit pemrosesan data (DPU) yang dikonsumsi oleh shell Python saat menjalankan pekerjaan.

• Properti bookmark Job tidak tersedia, karena tidak didukung untuk pekerjaan shell Python.

• Di bawah properti Advanced, properti berikut tidak tersedia untuk pekerjaan shell Python.

  • Metrik Job

  • Pencatatan terus menerus

  • Jalur log UI Spark dan Spark UI

  • Jalur stoples dependen, di bawah judul Perpustakaan