AWS Glue riferimento alle classi blueprint

Le librerie per AWS Glue i blueprint definiscono tre classi da utilizzare nello script di layout del flusso di lavoro: JobCrawler, eWorkflow.

Classe di processo

La Job classe rappresenta un AWS Glue Lavoro ETL.

Argomenti dei costruttori obbligatori

Di seguito sono illustrati gli argomenti dei costruttori obbligatori per la classe di Job.

Nome argomento	Tipo	Descrizione
Name	str	Nome da assegnare al lavoro. AWS Glue aggiunge un suffisso generato casualmente al nome per distinguere il lavoro da quelli creati da altre esecuzioni del blueprint.
Role	str	L'Amazon Resource Name (ARN) del ruolo che deve assumere il processo durante l'esecuzione.
Command	dict	Comando del processo, come specificato nella documentazione API in JobCommand struttura.

Argomenti dei costruttori facoltativi

Di seguito sono illustrati gli argomenti dei costruttori facoltativi per la classe di Job.

Nome argomento	Tipo	Descrizione
DependsOn	dict	Elenco delle entità del flusso di lavoro da cui dipende il processo. Per ulteriori informazioni, consulta Utilizzo dell' DependsOnargomento.
WaitForDependencies	str	Indica se il processo deve attendere fino a che tutte le entità da cui dipende sono complete prima dell'esecuzione o fino a quando è completa una qualsiasi. Per ulteriori informazioni, consulta Usando l'argomento WaitForDependencies . Ometti se il processo dipende da una sola entità.
(Proprietà processo)	-	Qualsiasi proprietà del lavoro elencata in Struttura del processo AWS Glue Documentazione API (eccetto CreatedOn eLastModifiedOn).

Classe di crawler

La Crawler classe rappresenta un AWS Glue crawler.

Argomenti dei costruttori obbligatori

Di seguito sono illustrati gli argomenti dei costruttori obbligatori per la classe di Crawler.

Nome argomento	Tipo	Descrizione
Name	str	Nome da assegnare al crawler. AWS Glue aggiunge un suffisso generato casualmente al nome per distinguere il crawler da quelli creati da altre esecuzioni del blueprint.
Role	str	ARN del ruolo che il crawler deve assumere durante l'esecuzione.
Targets	dict	Raccolta di destinazioni da sottoporre al crawling. Gli argomenti dei costruttori della classe Targets sono definiti in CrawlerTargets struttura nella documentazione API. Tutti gli argomenti dei costruttori Targets sono facoltativi, ma è necessario passarne almeno uno.

Argomenti dei costruttori facoltativi

Di seguito sono illustrati gli argomenti dei costruttori facoltativi per la classe di Crawler.

Nome argomento	Tipo	Descrizione
DependsOn	dict	Elenco delle entità del flusso di lavoro da cui dipende il crawler. Per ulteriori informazioni, consulta Utilizzo dell' DependsOnargomento.
WaitForDependencies	str	Indica se il crawler deve attendere fino a che tutte le entità da cui dipende sono complete prima dell'esecuzione o fino a quando è completa una qualsiasi. Per ulteriori informazioni, consulta Usando l'argomento WaitForDependencies . Ometti se il crawler dipende da una sola entità.
(Proprietà dei crawler)	-	Qualsiasi proprietà del crawler elencata in Struttura dei crawler AWS Glue Documentazione API, con le seguenti eccezioni: State CrawlElapsedTime CreationTime LastUpdated LastCrawl Version

Classe di flusso di lavoro

La Workflow classe rappresenta un AWS Glue flusso di lavoro. Lo script di layout del flusso di lavoro restituisce un Workflow oggetto. AWS Glue crea un flusso di lavoro basato su questo oggetto.

Argomenti dei costruttori obbligatori

Di seguito sono illustrati gli argomenti dei costruttori obbligatori per la classe di Workflow.

Nome argomento	Tipo	Descrizione
Name	str	Nome da assegnare al flusso di lavoro.
Entities	Entities	Insieme di entità (processi e crawler) da includere nel flusso di lavoro. Il costruttore di classi Entities accetta un argomento Jobs, che è un elenco di oggetti Job e un argomento Crawlers, che è un elenco di oggetti Crawler.

Argomenti dei costruttori facoltativi

Di seguito sono illustrati gli argomenti dei costruttori facoltativi per la classe di Workflow.

Nome argomento	Tipo	Descrizione
Description	str	Per informazioni, consulta Struttura flusso di lavoro.
DefaultRunProperties	dict	Per informazioni, consulta Struttura flusso di lavoro.
OnSchedule	str	Un'espressione cron.

Metodi di classe

Tutte e tre le classi includono i seguenti metodi.

validate()

Convalida le proprietà dell'oggetto e, se vengono rilevati errori, genera un messaggio ed esce. Non genera alcun output se non ci sono errori. Per la classe di Workflow, si richiama su ogni entità nel flusso di lavoro.

to_json()

Serializza l'oggetto in JSON. Chiama anche validate(). Per la classe di Workflow, l'oggetto JSON include elenchi di processi e crawler e un elenco di trigger generati dalle specifiche di dipendenza del processo e del crawler.