Tugas berjalan - AWS Glue
 —  tipe data  —JobRunPendahuluJobBookmarkEntryBatchStopJobRunSuccessfulSubmissionBatchStopJobRunErrorNotificationProperty —  operasi  —StartJobRun (start_job_run)BatchStopJobRun (batch_stop_job_run)GetJobRun (get_job_run)GetJobRuns (get_job_runs)GetJobBookmark (get_job_bookmark)GetJobBookmarks (get_job_bookmark)ResetJobBookmark (reset_job_bookmark)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tugas berjalan

Jobs Runs API menjelaskan tipe data dan API yang terkait dengan memulai, menghentikan, atau melihat pekerjaan berjalan, dan mengatur ulang bookmark pekerjaan, di. AWS Glue Riwayat Job run dapat diakses selama 90 hari untuk alur kerja dan pekerjaan Anda.

Jenis data

JobRun struktur

Berisi informasi tentang sebuah eksekusi tugas.

Bidang

  • Id — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    ID dari eksekusi tugas ini.

  • Attempt — Nomor (bilangan bulat).

    Jumlah usaha untuk menjalankan tugas ini.

  • PreviousRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    ID dari eksekusi sebelumnya dari tugas ini. Misalnya, JobRunId yang ditentukan dalam tindakan StartJobRun.

  • TriggerName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama pemicu yang memulai eksekusi tugas ini.

  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang digunakan dalam eksekusi ini.

  • JobMode – String UTF-8 (nilai yang valid: SCRIPT="" | VISUAL="" | NOTEBOOK="").

    Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:

    • SCRIPT- Pekerjaan dibuat menggunakan editor skrip AWS Glue Studio.

    • VISUAL- Pekerjaan dibuat menggunakan editor visual AWS Glue Studio.

    • NOTEBOOK- Pekerjaan itu dibuat menggunakan notebook sesi interaktif.

    Ketika JobMode bidang hilang atau null, SCRIPT ditetapkan sebagai nilai default.

  • StartedOn — Stempel waktu.

    Tanggal dan waktu saat eksekusi tugas ini dimulai.

  • LastModifiedOn — Stempel waktu.

    Terakhir kali saat eksekusi tugas ini dijalankan.

  • CompletedOn — Stempel waktu.

    Tanggal dan waktu saat eksekusi tugas ini selesai.

  • JobRunState— UTF-8 string (nilai valid: STARTING | | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT ERROR WAITING |EXPIRED).

    Status eksekusi tugas saat ini. Untuk informasi lebih lanjut tentang status tugas yang telah dihentikan secara tidak normal, lihat Status Eksekusi Tugas AWS Glue.

  • Arguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.

    Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.

    Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.

    Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

  • ErrorMessage – String UTF-8.

    Pesan kesalahan yang terkait dengan eksekusi tugas ini.

  • PredecessorRuns – Susunan objek Pendahulu.

    Daftar pendahulu untuk eksekusi tugas ini.

  • AllocatedCapacity — Nomor (bilangan bulat).

    Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

    Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk ini. JobRun Dapat dialokasikan dari 2 hingga 100 DPU; default-nya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  • ExecutionTime — Nomor (bilangan bulat).

    Jumlah waktu (dalam satuan detik) di mana eksekusi tugas ini menggunakan sumber daya.

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

    Pekerjaan streaming harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Ketika nilai dibiarkan kosong, pekerjaan akan dimulai ulang setelah 7 hari berdasarkan jika Anda belum menyiapkan jendela pemeliharaan. Jika Anda memiliki jendela pemeliharaan pengaturan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

  • MaxCapacity — Nomor (ganda).

    Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

    Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

    Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

    • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

    • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

  • WorkerType – String UTF-8 (nilai yang valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

    • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

    • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipe G.4X pekerja.

    • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0.

    • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

  • SecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

  • LogGroupName – String UTF-8.

    Nama grup log untuk pencatatan aman yang dapat dienkripsi sisi server di Amazon. CloudWatch AWS KMS Nama ini dapat /aws-glue/jobs/, dalam hal ini enkripsi default-nya adalah NONE. Jika Anda menambahkan nama peran dan nama SecurityConfiguration (dengan kata lain, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), maka konfigurasi keamanan tersebut digunakan untuk mengenkripsi grup log.

  • NotificationProperty — Sebuah objek NotificationProperty.

    Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

  • GlueVersion — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #20.

    Dalam pekerjaan Spark, GlueVersion menentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam suatu pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

    Pekerjaan Ray harus diatur GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

    Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat Versi Glue di panduan pengembang.

    Tugas yang dibuat tanpa menentukan versi Glue default ke Glue 0.9.

  • DPUSeconds — Nomor (ganda).

    Bidang ini dapat diatur untuk menjalankan tugas dengan kelas eksekusi FLEX atau saat Auto Scaling diaktifkan, dan mewakili total waktu yang dijalankan setiap pelaksana selama siklus hidup pekerjaan yang dijalankan dalam hitungan detik, dikalikan dengan faktor DPU (1 untuk, 2 untukG.1X, atau 0,25 untuk pekerja). G.2X G.025X Nilai ini mungkin berbeda dari executionEngineRuntime * MaxCapacity seperti dalam kasus pekerjaan Auto Scaling, karena jumlah pelaksana yang berjalan pada waktu tertentu mungkin kurang dari. MaxCapacity Oleh karena itu, ada kemungkinan bahwa nilai DPUSeconds kurang dari executionEngineRuntime *MaxCapacity.

  • ExecutionClass— String UTF-8, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |). STANDARD=""

    Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

    Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

    Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah glueetl yang diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

  • MaintenanceWindow — String UTF-8, yang cocok dengan Custom string pattern #30.

    Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, Anda AWS Glue perlu memulai ulang pekerjaan streaming Anda.

    AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 GMT, pekerjaan Anda akan dimulai kembali antara 10:00 GMT hingga 1:00 GMT.

  • ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan dijalankan.

Struktur pendahulu

Sebuah eksekusi tugas yang digunakan dalam predikat dari sebuah pemicu bersyarat yang memicu eksekusi tugas ini.

Bidang

  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang digunakan oleh eksekusi tugas pendahulunya.

  • RunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    ID eksekusi tugas dari eksekusi tugas pendahulu.

JobBookmarkEntry struktur

Mendefinisikan titik di mana sebuah tugas dapat melanjutkan pengolahan.

Bidang

  • JobName – String UTF-8.

    Nama tugas yang dimaksud.

  • Version — Nomor (bilangan bulat).

    Versi tugas.

  • Run — Nomor (bilangan bulat).

    Nomor ID eksekusi.

  • Attempt — Nomor (bilangan bulat).

    Nomor ID percobaan.

  • PreviousRunId – String UTF-8.

    Pengenal eksekusi unik yang terkait dengan eksekusi tugas sebelumnya.

  • RunId – String UTF-8.

    Nomor ID eksekusi.

  • JobBookmark – String UTF-8.

    Bookmark itu sendiri.

BatchStopJobRunSuccessfulSubmission struktur

Mencatat permintaan sukses untuk menghentikan JobRun yang ditentukan.

Bidang

  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang digunakan dalam eksekusi tugas yang dihentikan.

  • JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    JobRunId dari eksekusi tugas yang telah dihentikan.

BatchStopJobRunError struktur

Catatan kesalahan yang terjadi ketika mencoba untuk menghentikan eksekusi tugas yang ditentukan.

Bidang

  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang digunakan dalam eksekusi tugas yang bersangkutan.

  • JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    JobRunId dari eksekusi tugas yang bersangkutan.

  • ErrorDetail — Sebuah objek ErrorDetail.

    Menentukan detail tentang kesalahan yang ditemui.

NotificationProperty struktur

Menentukan sifat konfigurasi dari notifikasi.

Bidang

  • NotifyDelayAfter — Nomor (bilangan bulat), minimal 1.

    Setelah tugas dimulai, jumlah menit untuk menunggu sebelum mengirim notifikasi penundaan tugas.

Operasi

StartJobRun tindakan (Python: start_job_run)

Mulai menjalankan sebuah eksekusi tugas dengan menggunakan definisi tugas.

Permintaan

  • JobName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang akan digunakan.

  • JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    ID dari JobRun sebelumnya yang akan diulang.

  • Arguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.

    Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.

    Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.

    Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

  • AllocatedCapacity — Nomor (bilangan bulat).

    Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

    Jumlah unit pemrosesan AWS Glue data (DPU) untuk dialokasikan untuk ini. JobRun Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

    Pekerjaan streaming harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Ketika nilai dibiarkan kosong, pekerjaan akan dimulai ulang setelah 7 hari berdasarkan jika Anda belum menyiapkan jendela pemeliharaan. Jika Anda memiliki jendela pemeliharaan pengaturan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

  • MaxCapacity — Nomor (ganda).

    Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

    Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

    Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

    • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

    • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

  • SecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

  • NotificationProperty — Sebuah objek NotificationProperty.

    Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

  • WorkerType – String UTF-8 (nilai yang valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

    • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

    • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipe G.4X pekerja.

    • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0.

    • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

  • ExecutionClass— String UTF-8, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |). STANDARD=""

    Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

    Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

    Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah glueetl yang diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

  • ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan dijalankan.

Respons

  • JobRunId — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    ID yang ditetapkan untuk eksekusi tugas ini.

Kesalahan

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentRunsExceededException

BatchStopJobRun tindakan (Python: batch_stop_job_run)

Menghentikan satu atau beberapa eksekusi tugas untuk definisi tugas tertentu.

Permintaan

  • JobName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang akan menghentikan eksekusi tugas.

  • JobRunIds – Wajib: Susunan string UTF-8, tidak kurang dari 1 atau lebih dari 25 string.

    Daftar JobRunIds yang harus dihentikan untuk definisi tugas itu.

Respons

  • SuccessfulSubmissions – Susunan objek BatchStopJobRunSuccessfulSubmission.

    Daftar JobRuns yang berhasil diajukan untuk dihentikan.

  • Errors – Susunan objek BatchStopJobRunError.

    Daftar kesalahan yang ditemui dalam mencoba untuk menghentikan JobRuns, termasuk JobRunId yang ditemui kesalahannya dan detail tentang kesalahannya.

Kesalahan

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

GetJobRun tindakan (Python: get_job_run)

Mengambil metadata untuk eksekusi tugas tertentu. Riwayat Job run dapat diakses selama 90 hari untuk alur kerja dan pekerjaan Anda.

Permintaan

  • JobName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang sedang dijalankan.

  • RunId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    ID dari eksekusi tugas.

  • PredecessorsIncluded – Boolean.

    BETUL jika daftar eksekusi pendahulu harus dikembalikan.

Respons

  • JobRun — Sebuah objek JobRun.

    Metadata eksekusi tugas yang diminta.

Kesalahan

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobRuns tindakan (Python: get_job_runs)

Mengambil metadata untuk semua eksekusi tugas dari definisi tugas tertentu.

Permintaan

  • JobName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas untuk yang akan diambil semua eksekusi tugas-nya.

  • NextToken – String UTF-8.

    Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

  • MaxResults— Angka (bilangan bulat), tidak kurang dari 1 atau lebih dari 200.

    Ukuran maksimum respons.

Respons

  • JobRuns – Susunan objek JobRun.

    Daftar objek metadata eksekusi tugas.

  • NextToken – String UTF-8.

    Sebuah token kelanjutan, jika bukan semua eksekusi tugas yang diminta yang telah dikembalikan.

Kesalahan

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobBookmark tindakan (Python: get_job_bookmark)

Mengembalikan informasi tentang entri bookmark tugas.

Untuk informasi selengkapnya tentang mengaktifkan dan menggunakan bookmark pekerjaan, lihat:

Permintaan

  • JobName – Wajib: String UTF-8.

    Nama tugas yang dimaksud.

  • Version — Nomor (bilangan bulat).

    Versi tugas.

  • RunId – String UTF-8.

    Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

  • JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

    Sebuah struktur yang mendefinisikan titik di mana sebuah tugas dapat melanjutkan pengolahan.

Kesalahan

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ValidationException

GetJobBookmarks tindakan (Python: get_job_bookmarks)

Mengembalikan informasi tentang entri bookmark tugas. Daftar ini diurutkan berdasarkan nomor versi secara menurun.

Untuk informasi selengkapnya tentang mengaktifkan dan menggunakan bookmark pekerjaan, lihat:

Permintaan

  • JobName – Wajib: String UTF-8.

    Nama tugas yang dimaksud.

  • MaxResults — Nomor (bilangan bulat).

    Ukuran maksimum respons.

  • NextToken — Nomor (bilangan bulat).

    Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

  • JobBookmarkEntries – Susunan objek JobBookmarkEntry.

    Daftar entri bookmark tugas yang mendefinisikan titik di mana tugas dapat melanjutkan pemrosesan.

  • NextToken — Nomor (bilangan bulat).

    Sebuah token kelanjutan, yang memiliki nilai 1 jika semua entri dikembalikan, atau > 1 jika tidak semua eksekusi tugas yang diminta telah dikembalikan.

Kesalahan

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

ResetJobBookmark tindakan (Python: reset_job_bookmark)

Mengatur ulang sebuah entri bookmark.

Untuk informasi selengkapnya tentang mengaktifkan dan menggunakan bookmark pekerjaan, lihat:

Permintaan

  • JobName – Wajib: String UTF-8.

    Nama tugas yang dimaksud.

  • RunId – String UTF-8.

    Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

  • JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

    Entri bookmark pengaturan ulang.

Kesalahan

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException