Referenz zu AWS Glue-Blueprint-Klassen

Die Bibliotheken für AWS Glue-Blueprints definieren drei Klassen, die Sie in Ihrem Workflow-Layoutskript verwenden: Job, Crawler und Workflow.

Auftragsklasse

Die Job-Klasse repräsentiert einen AWS Glue-ETL-Auftrag.

Obligatorische Konstruktor-Argumente

Nachfolgend sind obligatorische Konstruktor-Argumente für die Job-Klasse aufgeführt.

Argumentname	Typ	Beschreibung
Name	str	Name, der dem Auftrag zugewiesen werden soll.AWS Glue fügt ein zufällig generiertes Suffix zum Namen hinzu, um den Auftrag von Aufträgen zu unterscheiden, die von anderen Blueprint-Durchläufen erstellt wurden.
Role	str	Amazon-Ressourcenname (ARN) der Rolle, die der Auftrag bei der Ausführung übernehmen soll.
Command	dict	Auftragsbefehl, wie in JobCommand Struktur in der API-Dokumentation angegeben.

Optionale Konstruktor-Argumente

Nachfolgend sind optionale Konstruktor-Argumente für die Job-Klasse aufgeführt.

Argumentname	Typ	Beschreibung
DependsOn	dict	Liste der Workflow-Entitäten, von denen der Auftrag abhängt. Weitere Informationen finden Sie unter Verwenden des DependsOn-Arguments.
WaitForDependencies	str	Gibt an, ob der Auftrag warten soll, bis alle Entitäten, von denen er abhängig ist, vor der Ausführung abgeschlossen sind, oder bis irgendeine abgeschlossen ist. Weitere Informationen finden Sie unter Verwenden des Arguments WaitForDependencies. Lassen Sie das Argument weg, wenn der Auftrag nur von einer Entität abhängt.
(Auftragseigenschaften)	-	Alle Auftragseigenschaften, die unter Auftrags-Struktur in der AWS Glue-API-Dokumentation aufgeführt sind (außer CreatedOn und LastModifiedOn).

Crawler-Klasse

Die Crawler-Klasse repräsentiert einen AWS Glue-Crawler.

Obligatorische Konstruktor-Argumente

Nachfolgend sind obligatorische Konstruktor-Argumente für die Crawler-Klasse aufgeführt.

Argumentname	Typ	Beschreibung
Name	str	Name, der dem Crawler zugewiesen werden soll.AWS Glue fügt ein zufällig generiertes Suffix zum Namen hinzu, um den Crawler von Crawlern zu unterscheiden, die von anderen Blueprint-Durchläufen erstellt wurden.
Role	str	ARN der Rolle, die der Crawler während der Ausführung übernehmen soll.
Targets	dict	Sammlung von Zielen für das Crawlen. Targets-Klassen-Konstruktor-Argumente sind in der CrawlerTargets Struktur in der API-Dokumentation definiert. Alle Targets-Konstruktor-Argumente sind optional, Sie müssen jedoch mindestens eines übergeben.

Optionale Konstruktor-Argumente

Nachfolgend sind optionale Konstruktor-Argumente für die Crawler-Klasse aufgeführt.

Argumentname	Typ	Beschreibung
DependsOn	dict	Liste der Workflow-Entitäten, von denen der Crawler abhängt. Weitere Informationen finden Sie unter Verwenden des DependsOn-Arguments.
WaitForDependencies	str	Gibt an, ob der Crawler warten soll, bis alle Entitäten, von denen er abhängig ist, vor der Ausführung abgeschlossen sind, oder bis irgendeine abgeschlossen ist. Weitere Informationen finden Sie unter Verwenden des Arguments WaitForDependencies. Lassen Sie das Argument weg, wenn der Crawler nur von einer Entität abhängt.
(Crawler-Eigenschaften)	-	Alle Crawler-Eigenschaften, die unter Crawler-Struktur in der AWS Glue-API-Dokumentation aufgeführt sind, mit den folgenden Ausnahmen: State CrawlElapsedTime CreationTime LastUpdated LastCrawl Version

Workflow-Klasse

Die Workflow-Klasse repräsentiert einen AWS Glue-Workflow. Das Workflow-Layout-Skript gibt ein Workflow-Objekt aus. AWS Glue erstellt einen Workflow basierend auf diesem Objekt.

Obligatorische Konstruktor-Argumente

Nachfolgend sind obligatorische Konstruktor-Argumente für die Workflow-Klasse aufgeführt.

Argumentname	Typ	Beschreibung
Name	str	Name, der dem Workflow zugewiesen werden soll.
Entities	Entities	Eine Sammlung von Entitäten (Aufträgen und Crawlern), die im Workflow enthalten sein sollen. Der Entities-Klassen-Konstruktor akzeptiert ein Jobs-Argument, bei dem es sich um eine Liste von Job-Objekten handelt, und ein Crawlers-Argument, bei dem es sich um eine Liste von Crawler-Objekten handelt.

Optionale Konstruktor-Argumente

Nachfolgend sind optionale Konstruktor-Argumente für die Workflow-Klasse aufgeführt.

Argumentname	Typ	Beschreibung
Description	str	Siehe Workflow-Struktur.
DefaultRunProperties	dict	Siehe Workflow-Struktur.
OnSchedule	str	Ein cron-Ausdruck.

Klassenmethoden

Alle drei Klassen umfassen die folgenden Methoden.

validate()

Validiert die Eigenschaften des Objekts und gibt eine Meldung aus und wird beendet, wenn Fehler gefunden werden. Generiert keine Ausgabe, wenn keine Fehler vorliegen. Ruft sich für die Workflow-Klasse selbst für jede Entität im Workflow auf.

to_json()

Serialisiert das Objekt in JSON. Ruft auch validate() auf. Für die Workflow-Klasse enthält das JSON-Objekt Auftrags- und Crawler-Listen sowie eine Liste von Auslösern, die von den Auftrags- und Crawler-Abhängigkeitsspezifikationen generiert werden.