Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Tugas berjalan
Jobs Runs API menjelaskan tipe data dan API yang terkait dengan memulai, menghentikan, atau melihat pekerjaan berjalan, dan mengatur ulang bookmark pekerjaan, di. AWS Glue Riwayat Job run dapat diakses selama 90 hari untuk alur kerja dan pekerjaan Anda.
Jenis data
JobRun struktur
Berisi informasi tentang sebuah eksekusi tugas.
Bidang
-
Id
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.ID dari eksekusi tugas ini.
-
Attempt
— Nomor (bilangan bulat).Jumlah usaha untuk menjalankan tugas ini.
-
PreviousRunId
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.ID dari eksekusi sebelumnya dari tugas ini. Misalnya,
JobRunId
yang ditentukan dalam tindakanStartJobRun
. -
TriggerName
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama pemicu yang memulai eksekusi tugas ini.
-
JobName
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas yang digunakan dalam eksekusi ini.
-
JobMode
– String UTF-8 (nilai yang valid:SCRIPT=""
|VISUAL=""
|NOTEBOOK=""
).Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:
-
SCRIPT
- Pekerjaan dibuat menggunakan editor skrip AWS Glue Studio. -
VISUAL
- Pekerjaan dibuat menggunakan editor visual AWS Glue Studio. -
NOTEBOOK
- Pekerjaan itu dibuat menggunakan notebook sesi interaktif.
Ketika
JobMode
bidang hilang atau null,SCRIPT
ditetapkan sebagai nilai default. -
-
StartedOn
— Stempel waktu.Tanggal dan waktu saat eksekusi tugas ini dimulai.
-
LastModifiedOn
— Stempel waktu.Terakhir kali saat eksekusi tugas ini dijalankan.
-
CompletedOn
— Stempel waktu.Tanggal dan waktu saat eksekusi tugas ini selesai.
-
JobRunState
— UTF-8 string (nilai valid:STARTING
| |RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
ERROR
WAITING
|EXPIRED
).Status eksekusi tugas saat ini. Untuk informasi lebih lanjut tentang status tugas yang telah dihentikan secara tidak normal, lihat Status Eksekusi Tugas AWS Glue.
-
Arguments
– Susunan peta pasangan nilai kunci.Setiap kunci adalah string UTF-8.
Setiap nilai adalah string UTF-8.
Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.
Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.
Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.
Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.
Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.
Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.
-
ErrorMessage
– String UTF-8.Pesan kesalahan yang terkait dengan eksekusi tugas ini.
-
PredecessorRuns
– Susunan objek Pendahulu.Daftar pendahulu untuk eksekusi tugas ini.
-
AllocatedCapacity
— Nomor (bilangan bulat).Bidang ini tidak lagi digunakan. Gunakan
MaxCapacity
sebagai gantinya.Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk ini. JobRun Dapat dialokasikan dari 2 hingga 100 DPU; default-nya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue
. -
ExecutionTime
— Nomor (bilangan bulat).Jumlah waktu (dalam satuan detik) di mana eksekusi tugas ini menggunakan sumber daya.
-
Timeout
— Nomor (bilangan bulat), minimal 1.Waktu habis
JobRun
, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki statusTIMEOUT
. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.Pekerjaan streaming harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Ketika nilai dibiarkan kosong, pekerjaan akan dimulai ulang setelah 7 hari berdasarkan jika Anda belum menyiapkan jendela pemeliharaan. Jika Anda memiliki jendela pemeliharaan pengaturan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.
-
MaxCapacity
— Nomor (ganda).Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue
. Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan.
Maximum capacity
Sebaliknya, Anda harus menentukanWorker type
danNumber of workers
.Jangan mengatur
MaxCapacity
jika Anda menggunakanWorkerType
danNumberOfWorkers
.Nilai yang dapat dialokasikan untuk
MaxCapacity
tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:-
Ketika anda menentukan tugas shell Python (
JobCommand.Name
="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU. -
Bila Anda menentukan tugas ETL Apache Spark (
JobCommand.Name
="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name
="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.
-
-
WorkerType
– String UTF-8 (nilai yang valid:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.
-
Untuk tipe
G.1X
pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan. -
Untuk tipe
G.2X
pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan. -
Untuk tipe
G.4X
pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm). -
Untuk tipe
G.8X
pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipeG.4X
pekerja. -
Untuk tipe
G.025X
pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0. -
Untuk tipe
Z.2X
pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.
-
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah pekerja dari
workerType
ditentukan yang dialokasikan ketika sebuah tugas dieksekusi. -
SecurityConfiguration
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama struktur
SecurityConfiguration
yang akan digunakan dengan eksekusi tugas ini. -
LogGroupName
– String UTF-8.Nama grup log untuk pencatatan aman yang dapat dienkripsi sisi server di Amazon. CloudWatch AWS KMS Nama ini dapat
/aws-glue/jobs/
, dalam hal ini enkripsi default-nya adalahNONE
. Jika Anda menambahkan nama peran dan namaSecurityConfiguration
(dengan kata lain,/aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/
), maka konfigurasi keamanan tersebut digunakan untuk mengenkripsi grup log. -
NotificationProperty
— Sebuah objek NotificationProperty.Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.
-
GlueVersion
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #20.Dalam pekerjaan Spark,
GlueVersion
menentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam suatu pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.Pekerjaan Ray harus diatur
GlueVersion
ke4.0
atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan olehRuntime
parameter perintah Job.Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat Versi Glue di panduan pengembang.
Tugas yang dibuat tanpa menentukan versi Glue default ke Glue 0.9.
-
DPUSeconds
— Nomor (ganda).Bidang ini dapat diatur untuk menjalankan tugas dengan kelas eksekusi
FLEX
atau saat Auto Scaling diaktifkan, dan mewakili total waktu yang dijalankan setiap pelaksana selama siklus hidup pekerjaan yang dijalankan dalam hitungan detik, dikalikan dengan faktor DPU (1 untuk, 2 untukG.1X
, atau 0,25 untuk pekerja).G.2X
G.025X
Nilai ini mungkin berbeda dariexecutionEngineRuntime
*MaxCapacity
seperti dalam kasus pekerjaan Auto Scaling, karena jumlah pelaksana yang berjalan pada waktu tertentu mungkin kurang dari.MaxCapacity
Oleh karena itu, ada kemungkinan bahwa nilaiDPUSeconds
kurang dariexecutionEngineRuntime
*MaxCapacity
. -
ExecutionClass
— String UTF-8, panjangnya tidak lebih dari 16 byte (nilai valid:FLEX=""
|).STANDARD=""
Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.
Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.
Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah
glueetl
yang diizinkan untuk disetelExecutionClass
keFLEX
. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark. -
MaintenanceWindow
— String UTF-8, yang cocok dengan Custom string pattern #30.Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, Anda AWS Glue perlu memulai ulang pekerjaan streaming Anda.
AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 GMT, pekerjaan Anda akan dimulai kembali antara 10:00 GMT hingga 1:00 GMT.
-
ProfileName
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan dijalankan.
Struktur pendahulu
Sebuah eksekusi tugas yang digunakan dalam predikat dari sebuah pemicu bersyarat yang memicu eksekusi tugas ini.
Bidang
-
JobName
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas yang digunakan oleh eksekusi tugas pendahulunya.
-
RunId
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.ID eksekusi tugas dari eksekusi tugas pendahulu.
JobBookmarkEntry struktur
Mendefinisikan titik di mana sebuah tugas dapat melanjutkan pengolahan.
Bidang
-
JobName
– String UTF-8.Nama tugas yang dimaksud.
-
Version
— Nomor (bilangan bulat).Versi tugas.
-
Run
— Nomor (bilangan bulat).Nomor ID eksekusi.
-
Attempt
— Nomor (bilangan bulat).Nomor ID percobaan.
-
PreviousRunId
– String UTF-8.Pengenal eksekusi unik yang terkait dengan eksekusi tugas sebelumnya.
-
RunId
– String UTF-8.Nomor ID eksekusi.
-
JobBookmark
– String UTF-8.Bookmark itu sendiri.
BatchStopJobRunSuccessfulSubmission struktur
Mencatat permintaan sukses untuk menghentikan JobRun
yang ditentukan.
Bidang
-
JobName
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas yang digunakan dalam eksekusi tugas yang dihentikan.
-
JobRunId
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.JobRunId
dari eksekusi tugas yang telah dihentikan.
BatchStopJobRunError struktur
Catatan kesalahan yang terjadi ketika mencoba untuk menghentikan eksekusi tugas yang ditentukan.
Bidang
-
JobName
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas yang digunakan dalam eksekusi tugas yang bersangkutan.
-
JobRunId
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.JobRunId
dari eksekusi tugas yang bersangkutan. -
ErrorDetail
— Sebuah objek ErrorDetail.Menentukan detail tentang kesalahan yang ditemui.
NotificationProperty struktur
Menentukan sifat konfigurasi dari notifikasi.
Bidang
-
NotifyDelayAfter
— Nomor (bilangan bulat), minimal 1.Setelah tugas dimulai, jumlah menit untuk menunggu sebelum mengirim notifikasi penundaan tugas.
Operasi
StartJobRun tindakan (Python: start_job_run)
Mulai menjalankan sebuah eksekusi tugas dengan menggunakan definisi tugas.
Permintaan
-
JobName
— Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas yang akan digunakan.
-
JobRunId
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.ID dari
JobRun
sebelumnya yang akan diulang. -
Arguments
– Susunan peta pasangan nilai kunci.Setiap kunci adalah string UTF-8.
Setiap nilai adalah string UTF-8.
Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.
Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.
Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.
Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.
Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.
Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.
-
AllocatedCapacity
— Nomor (bilangan bulat).Bidang ini tidak lagi digunakan. Gunakan
MaxCapacity
sebagai gantinya.Jumlah unit pemrosesan AWS Glue data (DPU) untuk dialokasikan untuk ini. JobRun Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue
. -
Timeout
— Nomor (bilangan bulat), minimal 1.Waktu habis
JobRun
, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki statusTIMEOUT
. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.Pekerjaan streaming harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Ketika nilai dibiarkan kosong, pekerjaan akan dimulai ulang setelah 7 hari berdasarkan jika Anda belum menyiapkan jendela pemeliharaan. Jika Anda memiliki jendela pemeliharaan pengaturan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.
-
MaxCapacity
— Nomor (ganda).Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue
. Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan.
Maximum capacity
Sebaliknya, Anda harus menentukanWorker type
danNumber of workers
.Jangan mengatur
MaxCapacity
jika Anda menggunakanWorkerType
danNumberOfWorkers
.Nilai yang dapat dialokasikan untuk
MaxCapacity
tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:-
Ketika anda menentukan tugas shell Python (
JobCommand.Name
="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU. -
Bila Anda menentukan tugas ETL Apache Spark (
JobCommand.Name
="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name
="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.
-
-
SecurityConfiguration
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama struktur
SecurityConfiguration
yang akan digunakan dengan eksekusi tugas ini. -
NotificationProperty
— Sebuah objek NotificationProperty.Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.
-
WorkerType
– String UTF-8 (nilai yang valid:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.
-
Untuk tipe
G.1X
pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan. -
Untuk tipe
G.2X
pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan. -
Untuk tipe
G.4X
pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm). -
Untuk tipe
G.8X
pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipeG.4X
pekerja. -
Untuk tipe
G.025X
pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0. -
Untuk tipe
Z.2X
pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.
-
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah pekerja dari
workerType
ditentukan yang dialokasikan ketika sebuah tugas dieksekusi. -
ExecutionClass
— String UTF-8, panjangnya tidak lebih dari 16 byte (nilai valid:FLEX=""
|).STANDARD=""
Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.
Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.
Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah
glueetl
yang diizinkan untuk disetelExecutionClass
keFLEX
. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark. -
ProfileName
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan dijalankan.
Respons
-
JobRunId
— String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.ID yang ditetapkan untuk eksekusi tugas ini.
Kesalahan
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
ResourceNumberLimitExceededException
ConcurrentRunsExceededException
BatchStopJobRun tindakan (Python: batch_stop_job_run)
Menghentikan satu atau beberapa eksekusi tugas untuk definisi tugas tertentu.
Permintaan
-
JobName
— Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas yang akan menghentikan eksekusi tugas.
-
JobRunIds
– Wajib: Susunan string UTF-8, tidak kurang dari 1 atau lebih dari 25 string.Daftar
JobRunIds
yang harus dihentikan untuk definisi tugas itu.
Respons
-
SuccessfulSubmissions
– Susunan objek BatchStopJobRunSuccessfulSubmission.Daftar JobRuns yang berhasil diajukan untuk dihentikan.
-
Errors
– Susunan objek BatchStopJobRunError.Daftar kesalahan yang ditemui dalam mencoba untuk menghentikan
JobRuns
, termasukJobRunId
yang ditemui kesalahannya dan detail tentang kesalahannya.
Kesalahan
InvalidInputException
InternalServiceException
OperationTimeoutException
GetJobRun tindakan (Python: get_job_run)
Mengambil metadata untuk eksekusi tugas tertentu. Riwayat Job run dapat diakses selama 90 hari untuk alur kerja dan pekerjaan Anda.
Permintaan
-
JobName
— Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas yang sedang dijalankan.
-
RunId
— Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.ID dari eksekusi tugas.
-
PredecessorsIncluded
– Boolean.BETUL jika daftar eksekusi pendahulu harus dikembalikan.
Respons
-
JobRun
— Sebuah objek JobRun.Metadata eksekusi tugas yang diminta.
Kesalahan
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
GetJobRuns tindakan (Python: get_job_runs)
Mengambil metadata untuk semua eksekusi tugas dari definisi tugas tertentu.
Permintaan
-
JobName
— Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.Nama definisi tugas untuk yang akan diambil semua eksekusi tugas-nya.
-
NextToken
– String UTF-8.Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.
-
MaxResults
— Angka (bilangan bulat), tidak kurang dari 1 atau lebih dari 200.Ukuran maksimum respons.
Respons
-
JobRuns
– Susunan objek JobRun.Daftar objek metadata eksekusi tugas.
-
NextToken
– String UTF-8.Sebuah token kelanjutan, jika bukan semua eksekusi tugas yang diminta yang telah dikembalikan.
Kesalahan
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
GetJobBookmark tindakan (Python: get_job_bookmark)
Mengembalikan informasi tentang entri bookmark tugas.
Untuk informasi selengkapnya tentang mengaktifkan dan menggunakan bookmark pekerjaan, lihat:
Permintaan
-
JobName
– Wajib: String UTF-8.Nama tugas yang dimaksud.
-
Version
— Nomor (bilangan bulat).Versi tugas.
-
RunId
– String UTF-8.Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.
Respons
-
JobBookmarkEntry
— Sebuah objek JobBookmarkEntry.Sebuah struktur yang mendefinisikan titik di mana sebuah tugas dapat melanjutkan pengolahan.
Kesalahan
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
ValidationException
GetJobBookmarks tindakan (Python: get_job_bookmarks)
Mengembalikan informasi tentang entri bookmark tugas. Daftar ini diurutkan berdasarkan nomor versi secara menurun.
Untuk informasi selengkapnya tentang mengaktifkan dan menggunakan bookmark pekerjaan, lihat:
Permintaan
-
JobName
– Wajib: String UTF-8.Nama tugas yang dimaksud.
-
MaxResults
— Nomor (bilangan bulat).Ukuran maksimum respons.
-
NextToken
— Nomor (bilangan bulat).Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.
Respons
-
JobBookmarkEntries
– Susunan objek JobBookmarkEntry.Daftar entri bookmark tugas yang mendefinisikan titik di mana tugas dapat melanjutkan pemrosesan.
-
NextToken
— Nomor (bilangan bulat).Sebuah token kelanjutan, yang memiliki nilai 1 jika semua entri dikembalikan, atau > 1 jika tidak semua eksekusi tugas yang diminta telah dikembalikan.
Kesalahan
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
ResetJobBookmark tindakan (Python: reset_job_bookmark)
Mengatur ulang sebuah entri bookmark.
Untuk informasi selengkapnya tentang mengaktifkan dan menggunakan bookmark pekerjaan, lihat:
Permintaan
-
JobName
– Wajib: String UTF-8.Nama tugas yang dimaksud.
-
RunId
– String UTF-8.Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.
Respons
-
JobBookmarkEntry
— Sebuah objek JobBookmarkEntry.Entri bookmark pengaturan ulang.
Kesalahan
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException