Tugas - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tugas

Jobs API menjelaskan tipe data dan API yang terkait dengan pembuatan, pembaruan, penghapusan, atau tampilan pekerjaan di AWS Glue.

Tipe Data

Struktur Job

Menentukan sebuah definisi tugas.

Bidang
  • Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama yang Anda tetapkan untuk definisi tugas ini.

  • Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

    Deskripsi tugas tersebut.

  • LogUri – String UTF-8.

    Bidang ini disimpan untuk penggunaan masa depan.

  • Role – String UTF-8.

    Nama atau Amazon Resource Name (ARN) dari IAM role yang dikaitkan dengan tugas ini.

  • CreatedOn — Stempel waktu.

    Waktu dan tanggal saat definisi tugas ini dibuat.

  • LastModifiedOn — Stempel waktu.

    Titik dalam waktu terakhir ketika definisi tugas ini dimodifikasi.

  • ExecutionProperty — Sebuah objek ExecutionProperty.

    Sebuah ExecutionProperty yang menentukan jumlah maksimum eksekusi bersamaan yang diperbolehkan untuk tugas ini.

  • Command — Sebuah objek JobCommand.

    JobCommand yang menjalankan tugas ini.

  • DefaultArguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen default untuk setiap menjalankan pekerjaan ini, ditetapkan sebagai pasangan nama-nilai.

    Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.

    Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.

    Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

  • NonOverridableArguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen untuk pekerjaan ini yang tidak diganti saat memberikan argumen pekerjaan dalam menjalankan pekerjaan, ditentukan sebagai pasangan nama-nilai.

  • Connections — Sebuah objek ConnectionsList.

    Koneksi yang digunakan untuk tugas ini.

  • MaxRetries — Nomor (bilangan bulat).

    Jumlah maksimum kali untuk mencoba kembali pekerjaan ini setelah JobRun gagal.

  • AllocatedCapacity — Nomor (bilangan bulat).

    Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

    Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk menjalankan pekerjaan ini. Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis tugas, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai default-nya adalah 2.880 menit (48 jam).

  • MaxCapacity — Nomor (ganda).

    Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    Untuk Glue versi 2.0 atau pekerjaan yang lebih baru, Anda tidak dapat menentukanMaximum capacity. Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

    Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

    Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

    • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

    • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

  • WorkerType – String UTF-8 (nilai yang valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

    • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

    • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipe G.4X pekerja.

    • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0.

    • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

  • SecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama struktur SecurityConfiguration yang akan digunakan dengan tugas ini.

  • NotificationProperty — Sebuah objek NotificationProperty.

    Menentukan properti konfigurasi dari sebuah notifikasi tugas.

  • Running – Boolean.

    Bidang ini disimpan untuk penggunaan masa depan.

  • GlueVersion — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #15.

    Dalam pekerjaan Spark, GlueVersion menentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam suatu pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

    Pekerjaan Ray harus diatur GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

    Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat Versi Glue di panduan pengembang.

    Tugas yang dibuat tanpa menentukan versi Glue default ke Glue 0.9.

  • CodeGenConfigurationNodes – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8, cocok dengan. Custom string pattern #33

    Setiap nilai adalah sebuah objek CodeGenConfigurationNode A.

    Representasi grafik asiklik terarah yang menjadi dasar komponen visual Glue Studio dan pembuatan kode Glue Studio.

  • ExecutionClass— String UTF-8, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |). STANDARD=""

    Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

    Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

    Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah glueetl yang diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

  • SourceControlDetails — Sebuah objek SourceControlDetails.

    Detail untuk konfigurasi kontrol sumber untuk pekerjaan, memungkinkan sinkronisasi artefak pekerjaan ke atau dari repositori jarak jauh.

  • ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

ExecutionProperty struktur

Properti eksekusi dari tugas.

Bidang
  • MaxConcurrentRuns — Nomor (bilangan bulat).

    Jumlah maksimum berjalan bersamaan yang diizinkan untuk tugas. Default-nya adalah 1. Kesalahan dikembalikan ketika ambang batas ini tercapai. Nilai maksimum yang dapat Anda tentukan dikendalikan oleh batas layanan.

NotificationProperty struktur

Menentukan sifat konfigurasi dari notifikasi.

Bidang
  • NotifyDelayAfter — Nomor (bilangan bulat), minimal 1.

    Setelah tugas dimulai, jumlah menit untuk menunggu sebelum mengirim notifikasi penundaan tugas.

JobCommand struktur

Menentukan kode yang berjalan ketika tugas dijalankan.

Bidang
  • Name – String UTF-8.

    Nama perintah tugas. Untuk tugas Apache Spark ETL, ini harus berupa glueetl. Untuk tugas shell Python, ini harus berupa pythonshell. Untuk tugas ETL Apache Spark streaming, ini harus berupa gluestreaming. Untuk pekerjaan Ray, ini pastiglueray.

  • ScriptLocation- String UTF-8, panjangnya tidak lebih dari 400000 byte.

    Menentukan path Amazon Simple Storage Service (Amazon S3) ke skrip yang menjalankan tugas.

  • PythonVersion — String UTF-8, yang cocok dengan Custom string pattern #16.

    Versi Python yang digunakan untuk menjalankan tugas shell Python. Nilai yang diizinkan adalah 2 atau 3.

  • Runtime— String UTF-8, panjangnya tidak lebih dari 64 byte, cocok dengan file. Custom string pattern #24

    Dalam pekerjaan Ray, Runtime digunakan untuk menentukan versi Ray, Python, dan pustaka tambahan yang tersedia di lingkungan Anda. Bidang ini tidak digunakan dalam jenis pekerjaan lain. Untuk nilai lingkungan runtime yang didukung, lihat Lingkungan runtime Ray yang didukung di Panduan AWS Glue Pengembang.

ConnectionsList struktur

Menentukan koneksi yang digunakan oleh tugas.

Bidang
  • Connections – Susunan string UTF-8.

    Daftar koneksi yang digunakan oleh tugas.

JobUpdate struktur

Menentukan informasi yang digunakan untuk memperbarui definisi tugas yang ada. Definisi tugas sebelumnya benar-benar ditimpa oleh informasi ini.

Bidang
  • Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

    Deskripsi tugas yang sedang didefinisikan.

  • LogUri – String UTF-8.

    Bidang ini disimpan untuk penggunaan masa depan.

  • Role – String UTF-8.

    Nama atau Amazon Resource Name (ARN) dari IAM role yang dikaitkan dengan tugas ini (wajib).

  • ExecutionProperty — Sebuah objek ExecutionProperty.

    Sebuah ExecutionProperty yang menentukan jumlah maksimum eksekusi bersamaan yang diperbolehkan untuk tugas ini.

  • Command — Sebuah objek JobCommand.

    JobCommand yang menjalankan tugas ini (wajib).

  • DefaultArguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen default untuk setiap menjalankan pekerjaan ini, ditetapkan sebagai pasangan nama-nilai.

    Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.

    Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.

    Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

  • NonOverridableArguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen untuk pekerjaan ini yang tidak diganti saat memberikan argumen pekerjaan dalam menjalankan pekerjaan, ditentukan sebagai pasangan nama-nilai.

  • Connections — Sebuah objek ConnectionsList.

    Koneksi yang digunakan untuk tugas ini.

  • MaxRetries — Nomor (bilangan bulat).

    Jumlah waktu maksimum berapa kali percobaan yang bisa dilakukan untuk tugas ini jika gagal.

  • AllocatedCapacity — Nomor (bilangan bulat).

    Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

    Jumlah unit pemrosesan AWS Glue data (DPU) untuk dialokasikan untuk pekerjaan ini. Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis tugas, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai default-nya adalah 2.880 menit (48 jam).

  • MaxCapacity — Nomor (ganda).

    Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

    Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

    Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

    • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

    • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

  • WorkerType – String UTF-8 (nilai yang valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

    • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

    • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipe G.4X pekerja.

    • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0.

    • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

  • SecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama struktur SecurityConfiguration yang akan digunakan dengan tugas ini.

  • NotificationProperty — Sebuah objek NotificationProperty.

    Menentukan properti konfigurasi notifikasi tugas.

  • GlueVersion — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #15.

    Dalam pekerjaan Spark, GlueVersion menentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam suatu pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

    Pekerjaan Ray harus diatur GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

    Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat Versi Glue di panduan pengembang.

    Tugas yang dibuat tanpa menentukan versi Glue default ke Glue 0.9.

  • CodeGenConfigurationNodes – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8, cocok dengan. Custom string pattern #33

    Setiap nilai adalah sebuah objek CodeGenConfigurationNode A.

    Representasi grafik asiklik terarah yang menjadi dasar komponen visual Glue Studio dan pembuatan kode Glue Studio.

  • ExecutionClass— String UTF-8, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |). STANDARD=""

    Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

    Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

    Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah glueetl yang diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

  • SourceControlDetails — Sebuah objek SourceControlDetails.

    Detail untuk konfigurasi kontrol sumber untuk pekerjaan, memungkinkan sinkronisasi artefak pekerjaan ke atau dari repositori jarak jauh.

  • ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

SourceControlDetails struktur

Detail untuk konfigurasi kontrol sumber untuk pekerjaan, memungkinkan sinkronisasi artefak pekerjaan ke atau dari repositori jarak jauh.

Bidang
  • Provider – String UTF-8.

    Penyedia untuk repositori jarak jauh.

  • Repository — String UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 512 byte.

    Nama repositori jarak jauh yang berisi artefak pekerjaan.

  • Owner — String UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 512 byte.

    Pemilik repositori jarak jauh yang berisi artefak pekerjaan.

  • Branch — String UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 512 byte.

    Cabang opsional di repositori jarak jauh.

  • Folder — String UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 512 byte.

    Folder opsional di repositori jarak jauh.

  • LastCommitId — String UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 512 byte.

    ID komit terakhir untuk komit di repositori jarak jauh.

  • LastSyncTimestamp — String UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 512 byte.

    Tanggal dan waktu sinkronisasi pekerjaan terakhir dilakukan.

  • AuthStrategy – String UTF-8.

    Jenis otentikasi, yang dapat berupa token otentikasi yang disimpan di AWS Secrets Manager, atau token akses pribadi.

  • AuthToken — String UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 512 byte.

    Nilai token otorisasi.

Operasi

CreateJob tindakan (Python: create_job)

Menciptakan sebuah definisi tugas baru.

Permintaan
  • NameWajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama yang Anda tetapkan untuk definisi tugas ini. Harus unik dalam akun Anda.

  • Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

    Deskripsi tugas yang sedang didefinisikan.

  • LogUri – String UTF-8.

    Bidang ini disimpan untuk penggunaan masa depan.

  • RoleWajib: String UTF-8.

    Nama atau Amazon Resource Name (ARN) dari IAM role yang dikaitkan dengan tugas ini.

  • ExecutionProperty — Sebuah objek ExecutionProperty.

    Sebuah ExecutionProperty yang menentukan jumlah maksimum eksekusi bersamaan yang diperbolehkan untuk tugas ini.

  • CommandWajib: Sebuah objek JobCommand.

    JobCommand yang menjalankan tugas ini.

  • DefaultArguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen default untuk setiap menjalankan pekerjaan ini, ditetapkan sebagai pasangan nama-nilai.

    Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.

    Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.

    Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.

    Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

  • NonOverridableArguments – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Argumen untuk pekerjaan ini yang tidak diganti saat memberikan argumen pekerjaan dalam menjalankan pekerjaan, ditentukan sebagai pasangan nama-nilai.

  • Connections — Sebuah objek ConnectionsList.

    Koneksi yang digunakan untuk tugas ini.

  • MaxRetries — Nomor (bilangan bulat).

    Jumlah waktu maksimum berapa kali percobaan yang bisa dilakukan untuk tugas ini jika gagal.

  • AllocatedCapacity — Nomor (bilangan bulat).

    Parameter ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

    Jumlah unit pemrosesan AWS Glue data (DPU) yang akan dialokasikan ke Job ini. Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis tugas, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai default-nya adalah 2.880 menit (48 jam).

  • MaxCapacity — Nomor (ganda).

    Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

    Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

    Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

    • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

    • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

  • SecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama struktur SecurityConfiguration yang akan digunakan dengan tugas ini.

  • Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

    Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte.

    Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak lebih dari 256 byte.

    Tag yang akan digunakan dengan tugas ini. Anda dapat menggunakan tag untuk membatasi akses ke tugas. Untuk informasi selengkapnya tentang AWS tag AWS Glue, lihat Tag AWS Glue di panduan pengembang.

  • NotificationProperty — Sebuah objek NotificationProperty.

    Menentukan properti konfigurasi dari sebuah notifikasi tugas.

  • GlueVersion — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #15.

    Dalam pekerjaan Spark, GlueVersion menentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam suatu pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

    Pekerjaan Ray harus diatur GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

    Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat Versi Glue di panduan pengembang.

    Tugas yang dibuat tanpa menentukan versi Glue default ke Glue 0.9.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

  • WorkerType – String UTF-8 (nilai yang valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

    • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

    • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

    • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipe G.4X pekerja.

    • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0.

    • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

  • CodeGenConfigurationNodes – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8, cocok dengan. Custom string pattern #33

    Setiap nilai adalah sebuah objek CodeGenConfigurationNode A.

    Representasi grafik asiklik terarah yang menjadi dasar komponen visual Glue Studio dan pembuatan kode Glue Studio.

  • ExecutionClass— String UTF-8, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |). STANDARD=""

    Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

    Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

    Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah glueetl yang diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

  • SourceControlDetails — Sebuah objek SourceControlDetails.

    Detail untuk konfigurasi kontrol sumber untuk pekerjaan, memungkinkan sinkronisasi artefak pekerjaan ke atau dari repositori jarak jauh.

  • ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

Respons
  • Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama unik yang disediakan untuk definisi tugas ini.

Kesalahan
  • InvalidInputException

  • IdempotentParameterMismatchException

  • AlreadyExistsException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentModificationException

UpdateJob tindakan (Python: update_job)

Memperbarui sebuah definisi tugas yang ada. Definisi tugas sebelumnya benar-benar ditimpa oleh informasi ini.

Permintaan
  • JobNameWajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang akan diperbarui.

  • JobUpdateWajib: Sebuah objek JobUpdate.

    Menentukan nilai-nilai yang dapat digunakan untuk memperbarui definisi tugas. Konfigurasi yang tidak ditentukan dihapus atau diatur ulang ke nilai default.

  • ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

Respons
  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Mengembalikan nama definisi tugas diperbarui.

Kesalahan
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ConcurrentModificationException

GetJob tindakan (Python: get_job)

Mengambil definisi tugas yang ada.

Permintaan
  • JobNameWajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang akan diambil.

Respons
  • Job — Sebuah objek Pekerjaan.

    Definisi tugas yang diminta.

Kesalahan
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobs tindakan (Python: get_jobs)

Mengambil semua definisi tugas saat ini.

Permintaan
  • NextToken – String UTF-8.

    Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

  • MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

    Ukuran maksimum respons.

Respons
  • Jobs – Susunan objek Pekerjaan.

    Daftar definisi tugas.

  • NextToken – String UTF-8.

    Sebuah token kelanjutan, jika tidak semua definisi tugas yang belum dikembalikan.

Kesalahan
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

DeleteJob tindakan (Python: delete_job)

Menghapus definisi tugas tertentu. Jika definisi tugas tidak ditemukan, tidak ada pengecualian yang dibuang.

Permintaan
  • JobNameWajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang akan dihapus.

Respons
  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama definisi tugas yang telah dihapus.

Kesalahan
  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

ListJobs tindakan (Python: list_jobs)

Mengambil nama semua sumber daya pekerjaan di AWS akun ini, atau sumber daya dengan tag yang ditentukan. Operasi ini memungkinkan Anda melihat sumber daya yang tersedia di akun Anda, dan nama-namanya.

Operasi ini mengambil kolom Tags opsional, yang dapat Anda gunakan sebagai filter pada respon sehingga tag sumber daya dapat diambil sebagai sebuah grup. Jika Anda memilih untuk menggunakan pem-filter-an tag, maka hanya sumber daya dengan tag saja yang diambil.

Permintaan
  • NextToken – String UTF-8.

    Sebuah token kelanjutan, jika ini adalah permintaan kelanjutan.

  • MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

    Ukuran maksimum daftar yang akan dikembalikan.

  • Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

    Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte.

    Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak lebih dari 256 byte.

    Menentukan untuk mengembalikan hanya sumber daya ditandai saja.

Respons
  • JobNames – Susunan string UTF-8.

    Nama-nama semua tugas dalam akun, atau tugas dengan tag yang ditentukan.

  • NextToken – String UTF-8.

    Sebuah token kelanjutan, jika daftar yang dikembalikan tidak berisi metrik terakhir yang tersedia.

Kesalahan
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

BatchGetJobs tindakan (Python: batch_get_jobs)

Mengembalikan daftar metadata sumber daya untuk daftar tertentu dari nama tugas. Setelah memanggil operasi ListJobs, Anda dapat memanggil operasi ini untuk mengakses data yang Anda telah diberikan izinnya. Operasi ini mendukung semua izin IAM, termasuk syarat izin yang menggunakan tag.

Permintaan
  • JobNamesWajib: Susunan string UTF-8.

    Daftar nama tugas, mungkin nama yang dikembalikan oleh operasi ListJobs.

Respons
  • Jobs – Susunan objek Pekerjaan.

    Daftar definisi tugas.

  • JobsNotFound – Susunan string UTF-8.

    Daftar nama tugas yang tidak ditemukan.

Kesalahan
  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

UpdateSourceControlFromJob tindakan (Python: update_source_control_from_job)

Menyinkronkan pekerjaan ke repositori kontrol sumber. Operasi ini mengambil artefak pekerjaan dari toko AWS Glue internal dan membuat komit ke repositori jarak jauh yang dikonfigurasi pada pekerjaan.

API ini mendukung parameter opsional yang mengambil informasi repositori.

Permintaan
  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama AWS Glue pekerjaan yang akan disinkronkan ke atau dari repositori jarak jauh.

  • Provider – String UTF-8.

    Penyedia untuk repositori jarak jauh. Nilai yang mungkin: GITHUB, AWS_CODE_COMMIT, GITLAB, BITBUCKET.

  • RepositoryName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama repositori jarak jauh yang berisi artefak pekerjaan. Untuk BitBucket penyedia, RepositoryName harus mencakupWorkspaceName. Gunakan format <WorkspaceName>/<RepositoryName>.

  • RepositoryOwner — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Pemilik repositori jarak jauh yang berisi artefak pekerjaan.

  • BranchName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Cabang opsional di repositori jarak jauh.

  • Folder — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Folder opsional di repositori jarak jauh.

  • CommitId— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 40 byte, cocok dengan file. Single-line string pattern

    ID komit untuk komit di repositori jarak jauh.

  • AuthStrategy – String UTF-8.

    Jenis otentikasi, yang dapat berupa token otentikasi yang disimpan di AWS Secrets Manager, atau token akses pribadi.

  • AuthToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nilai token otorisasi.

Respons
  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama AWS Glue pekerjaan.

Kesalahan
  • AccessDeniedException

  • AlreadyExistsException

  • InvalidInputException

  • ValidationException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

UpdateJobFromSourceControl tindakan (Python: update_job_from_source_control)

Menyinkronkan pekerjaan dari repositori kontrol sumber. Operasi ini mengambil artefak pekerjaan yang terletak di repositori jarak jauh dan memperbarui toko AWS Glue internal dengan artefak ini.

API ini mendukung parameter opsional yang mengambil informasi repositori.

Permintaan
  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama AWS Glue pekerjaan yang akan disinkronkan ke atau dari repositori jarak jauh.

  • Provider – String UTF-8.

    Penyedia untuk repositori jarak jauh. Nilai yang mungkin: GITHUB, AWS_CODE_COMMIT, GITLAB, BITBUCKET.

  • RepositoryName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama repositori jarak jauh yang berisi artefak pekerjaan. Untuk BitBucket penyedia, RepositoryName harus mencakupWorkspaceName. Gunakan format <WorkspaceName>/<RepositoryName>.

  • RepositoryOwner — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Pemilik repositori jarak jauh yang berisi artefak pekerjaan.

  • BranchName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Cabang opsional di repositori jarak jauh.

  • Folder — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Folder opsional di repositori jarak jauh.

  • CommitId— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 40 byte, cocok dengan file. Single-line string pattern

    ID komit untuk komit di repositori jarak jauh.

  • AuthStrategy – String UTF-8.

    Jenis otentikasi, yang dapat berupa token otentikasi yang disimpan di AWS Secrets Manager, atau token akses pribadi.

  • AuthToken — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nilai token otorisasi.

Respons
  • JobName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama AWS Glue pekerjaan.

Kesalahan
  • AccessDeniedException

  • AlreadyExistsException

  • InvalidInputException

  • ValidationException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException