Riferimento alle classi di schema AWS Glue

Le librerie per i piani AWS Glue definiscono tre classi da utilizzare nello script di layout del flusso di lavoro: Job, Crawler e Workflow.

Classe di processo

La classe Job rappresenta un processo ETL AWS Glue.

Argomenti dei costruttori obbligatori

Di seguito sono illustrati gli argomenti dei costruttori obbligatori per la classe di Job.

Nome argomento	Type (Tipo)	Descrizione
Name	str	Nome da assegnare al processo. AWS Glue aggiunge un suffisso generato casualmente al nome per distinguere il processo da quelli creati da altre esecuzioni del progetto.
Role	str	L'Amazon Resource Name (ARN) del ruolo che deve assumere il processo durante l'esecuzione.
Command	dict	Comando del processo, come specificato nella documentazione API in JobCommand struttura.

Argomenti dei costruttori facoltativi

Di seguito sono illustrati gli argomenti dei costruttori facoltativi per la classe di Job.

Nome argomento	Type (Tipo)	Descrizione
DependsOn	dict	Elenco delle entità del flusso di lavoro da cui dipende il processo. Per ulteriori informazioni, consulta Utilizzo dell'argomento DependsOn.
WaitForDependencies	str	Indica se il processo deve attendere fino a che tutte le entità da cui dipende sono complete prima dell'esecuzione o fino a quando è completa una qualsiasi. Per ulteriori informazioni, consulta Utilizzo dell'argomento WaitForDependencies. Ometti se il processo dipende da una sola entità.
(Proprietà processo)	-	Qualsiasi proprietà del processo elencate in Struttura del processo nella documentazione API AWS Glue (eccetto CreatedOn e LastModifiedOn).

Classe di crawler

La classe Crawler rappresenta un crawler AWS Glue.

Argomenti dei costruttori obbligatori

Di seguito sono illustrati gli argomenti dei costruttori obbligatori per la classe di Crawler.

Nome argomento	Type (Tipo)	Descrizione
Name	str	Nome da assegnare al crawler. AWS Glue aggiunge un suffisso generato casualmente al nome per distinguere il crawler da quelli creati da altre esecuzioni del progetto.
Role	str	ARN del ruolo che il crawler deve assumere durante l'esecuzione.
Targets	dict	Raccolta di destinazioni da sottoporre al crawling. Gli argomenti dei costruttori della classe Targets sono definiti in CrawlerTargets struttura nella documentazione API. Tutti gli argomenti dei costruttori Targets sono facoltativi, ma è necessario passarne almeno uno.

Argomenti dei costruttori facoltativi

Di seguito sono illustrati gli argomenti dei costruttori facoltativi per la classe di Crawler.

Nome argomento	Type (Tipo)	Descrizione
DependsOn	dict	Elenco delle entità del flusso di lavoro da cui dipende il crawler. Per ulteriori informazioni, consulta Utilizzo dell'argomento DependsOn.
WaitForDependencies	str	Indica se il crawler deve attendere fino a che tutte le entità da cui dipende sono complete prima dell'esecuzione o fino a quando è completa una qualsiasi. Per ulteriori informazioni, consulta Utilizzo dell'argomento WaitForDependencies. Ometti se il crawler dipende da una sola entità.
(Proprietà dei crawler)	-	Qualsiasi proprietà del crawler elencata in Struttura dei crawler nella documentazione API AWS Glue, con le seguenti eccezioni: State CrawlElapsedTime CreationTime LastUpdated LastCrawl Version

Classe di flusso di lavoro

La classe Workflow rappresenta un flusso di lavoro AWS Glue. Lo script layout del flusso di lavoro restituisce un Workflow. AWS Glue crea un flusso di lavoro basato su questo oggetto.

Argomenti dei costruttori obbligatori

Di seguito sono illustrati gli argomenti dei costruttori obbligatori per la classe di Workflow.

Nome argomento	Type (Tipo)	Descrizione
Name	str	Nome da assegnare al flusso di lavoro.
Entities	Entities	Insieme di entità (processi e crawler) da includere nel flusso di lavoro. Il costruttore di classi Entities accetta un argomento Jobs, che è un elenco di oggetti Job e un argomento Crawlers, che è un elenco di oggetti Crawler.

Argomenti dei costruttori facoltativi

Di seguito sono illustrati gli argomenti dei costruttori facoltativi per la classe di Workflow.

Nome argomento	Type (Tipo)	Descrizione
Description	str	Per informazioni, consultare Struttura flusso di lavoro.
DefaultRunProperties	dict	Per informazioni, consultare Struttura flusso di lavoro.
OnSchedule	str	Un'espressione cron.

Metodi di classe

Tutte e tre le classi includono i seguenti metodi.

validate()

Convalida le proprietà dell'oggetto e, se vengono rilevati errori, genera un messaggio ed esce. Non genera alcun output se non ci sono errori. Per la classe di Workflow, si richiama su ogni entità nel flusso di lavoro.

to_json()

Serializza l'oggetto in JSON. Chiama anche validate(). Per la classe di Workflow, l'oggetto JSON include elenchi di processi e crawler e un elenco di trigger generati dalle specifiche di dipendenza del processo e del crawler.