AWS Gluereferensi kelas cetak biru

Pustaka untuk AWS Glue cetak biru menentukan tiga kelas yang Anda gunakan dalam skrip tata letak alur kerja Anda:,, dan. Job Crawler Workflow

Kelas Job

JobKelas mewakili pekerjaan AWS Glue ETL.

Argumen konstruktor wajib

Berikut ini adalah argumen konstruktor wajib untuk kelas Job.

Nama argumen	Tipe	Deskripsi
Name	str	Nama untuk ditugaskan ke pekerjaan. AWS Gluemenambahkan akhiran yang dihasilkan secara acak ke nama untuk membedakan pekerjaan dari yang dibuat oleh blueprint run lainnya.
Role	str	Amazon Resource Name (ARN) dari peran yang harus diambil oleh tugas tersebut saat mengeksekusi.
Command	dict	Perintah tugas, sebagaimana yang ditentukan pada JobCommand struktur dalam dokumentasi API.

Argumen konstruktor opsional

Berikut ini adalah argumen konstruktor opsional untuk kelas Job.

Nama argumen	Tipe	Deskripsi
DependsOn	dict	Daftar entitas alur kerja yang padanya tugas bergantung. Untuk informasi selengkapnya, lihat Menggunakan DependsOn argumen.
WaitForDependencies	str	Menunjukkan apakah tugas harus menunggu sampai semua entitas yang padanya ia bergantung selesai sebelum mengeksekusi atau sampai salah satu selesai. Untuk informasi selengkapnya, lihat Menggunakan WaitForDependencies argumen. Abaikan jika tugas tergantung pada hanya satu entitas saja.
(Properti tugas)	-	Properti pekerjaan apa pun yang tercantum Struktur Job dalam dokumentasi AWS Glue API (kecuali CreatedOn danLastModifiedOn).

Kelas crawler

CrawlerKelas mewakili AWS Glue crawler.

Argumen konstruktor wajib

Berikut ini adalah argumen konstruktor wajib untuk kelas Crawler.

Nama argumen	Tipe	Deskripsi
Name	str	Nama untuk ditetapkan ke crawler. AWS Gluemenambahkan akhiran yang dihasilkan secara acak ke nama untuk membedakan crawler dari yang dibuat oleh blueprint run lainnya.
Role	str	ARN dari peran yang harus diambil crawler saat berjalan.
Targets	dict	Koleksi target yang harus di-crawling. Argumen konstruktor kelas Targets ditentukan dalam CrawlerTargets struktur dalam dokumentasi API. Semua argumen konstruktor Targets bersifat opsional, tetapi Anda harus memberikan setidaknya satu argumen.

Argumen konstruktor opsional

Berikut ini adalah argumen konstruktor opsional untuk kelas Crawler.

Nama argumen	Tipe	Deskripsi
DependsOn	dict	Daftar entitas alur kerja yang padanya crawler bergantung. Untuk informasi selengkapnya, lihat Menggunakan DependsOn argumen.
WaitForDependencies	str	Menunjukkan apakah crawler harus menunggu sampai semua entitas yang padanya ia bergantung selesai sebelum berjalan atau sampai salah satu selesai. Untuk informasi selengkapnya, lihat Menggunakan WaitForDependencies argumen. Abaikan jika crawler tergantung hanya pada satu entitas saja.
(Properti Crawler)	-	Properti crawler apa pun yang tercantum Struktur perayap dalam dokumentasi AWS Glue API, dengan pengecualian berikut: State CrawlElapsedTime CreationTime LastUpdated LastCrawl Version

Kelas alur kerja

WorkflowKelas mewakili AWS Glue alur kerja. Skrip tata letak alur kerja mengembalikan Workflow objek. AWS Gluemembuat alur kerja berdasarkan objek ini.

Argumen konstruktor wajib

Berikut ini adalah argumen konstruktor wajib untuk kelas Workflow.

Nama argumen	Tipe	Deskripsi
Name	str	Nama yang akan ditetapkan untuk alur kerja tersebut.
Entities	Entities	Koleksi entitas (tugas dan crawler) yang akan disertakan dalam alur kerja. Kelas konstruktor Entities menerima sebuah argumen Jobs, yang merupakan daftar dari objek Job, dan Crawlers, yang merupakan daftar dari objek Crawler.

Argumen konstruktor opsional

Berikut ini adalah argumen konstruktor opsional untuk kelas Workflow.

Nama argumen	Tipe	Deskripsi
Description	str	Lihat Struktur alur kerja.
DefaultRunProperties	dict	Lihat Struktur alur kerja.
OnSchedule	str	Sebuah ekspresi cron.

Metode kelas

Ketiga kelas tersebut mencakup metode-metode berikut.

validate()

Memvalidasi properti objek dan apakah ada kesalahan yang ditemukan, membuat keluaran pesan dan menutup. Tidak menghasilkan output jika tidak ada kesalahan. Untuk kelas Workflow, memanggil dirinya sendiri pada setiap entitas dalam alur kerja.

to_json()

Melakukan serialisasi pada objek untuk JSON. Juga memanggil validate(). Untuk kelas Workflow, objek JSON termasuk tugas dan daftar crawler, serta daftar pemicu yang dihasilkan oleh spesifikasi dependensi tugas dan crawler.