Auftragsausführungen - AWS Glue
 —  Datentypen  —JobRunVorgängerJobBookmarkEntryBatchStopJobRunSuccessfulSubmissionBatchStopJobRunErrorNotificationProperty —  Operationen  —StartJobRun (start_job_run)BatchStopJobRun (batch_stop_job_run)GetJobRun (get_job_run)GetJobRuns (get_job_runs)GetJobBookmark (get_job_bookmark)GetJobBookmarks (get_job_bookmarks)ResetJobBookmark (reset_job_bookmark)

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Auftragsausführungen

Die Jobs Runs-API beschreibt die Datentypen und die API im Zusammenhang mit dem Starten, Stoppen oder Anzeigen von Auftragsausführungen und dem Zurücksetzen von Job-Lesezeichen unter. AWS Glue Der Verlauf der Auftragsausführung ist 90 Tage lang für Ihren Workflow und Ihre Auftragsausführung zugänglich.

Datentypen

JobRun Struktur

Enthält Informationen zu einer Auftragsausführung.

Felder

  • Id – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die ID dieser Auftragsausführung.

  • Attempt – Zahl (Ganzzahl).

    Die Anzahl der Versuche für die Ausführung dieses Auftrags.

  • PreviousRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die ID der vorherigen Ausführung dieses Auftrags. Beispiel: Die JobRunId in der StartJobRun-Aktion.

  • TriggerName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name des Auslösers, der diese Auftragsausführung gestartet hat.

  • JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der Auftragsdefinition, die in dieser Ausführung verwendet wird.

  • JobMode – UTF-8-Zeichenfolge (zulässige Werte: SCRIPT="" | VISUAL="" | NOTEBOOK="").

    Ein Modus, der beschreibt, wie ein Job erstellt wurde. Gültige Werte für sind:

    • SCRIPT- Der Job wurde mit dem AWS Glue Studio-Skripteditor erstellt.

    • VISUAL- Der Job wurde mit dem Visual Editor von AWS Glue Studio erstellt.

    • NOTEBOOK- Der Job wurde mit einem interaktiven Sitzungsnotizbuch erstellt.

    Wenn das JobMode Feld fehlt oder Null SCRIPT ist, wird es als Standardwert zugewiesen.

  • StartedOn – Zeitstempel.

    Das Datum und die Uhrzeit, an denen diese Auftragsausführung gestartet wurde

  • LastModifiedOn – Zeitstempel.

    Der letzte Zeitpunkt, an dem diese Auftragsausführung geändert wurde.

  • CompletedOn – Zeitstempel.

    Das Datum und die Uhrzeit, an denen diese Auftragsausführung abgeschlossen wurde

  • JobRunState— UTF-8-Zeichenfolge (gültige Werte: STARTING | | | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | | TIMEOUT ERROR WAITING |EXPIRED).

    Den aktuellen Status der Auftragsausführung. Weitere Informationen über den Status von Aufgaben, die in ungewöhnlicher Weise beendet wurden, finden Sie unter AWS Glue -Aufgabenausführungsstatus.

  • Arguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Die mit dieser Ausführung verknüpften Auftragsargumente. Für diese Auftragsauführung ersetzen sie den Satz der Standardargumente direkt in der Auftragsdefinition.

    Sie können hier Argumente angeben, die Ihr eigenes Job-Ausführungsskript verwendet, sowie Argumente, die selbst verwendet werden. AWS Glue

    Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Rufen Sie Geheimnisse aus einer AWS Glue Verbindung AWS Secrets Manager oder einem anderen geheimen Verwaltungsmechanismus ab, wenn Sie beabsichtigen, sie innerhalb des Job zu behalten.

    Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue -APIs in Python im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.

  • ErrorMessage – UTF-8-Zeichenfolge.

    Eine Fehlermeldung, die mit dieser Auftragsausführung verknüpft ist.

  • PredecessorRuns – Ein Array mit Vorgänger-Objekten.

    Eine Liste der Vorgänger zu dieser Auftragsausführung.

  • AllocatedCapacity – Zahl (Ganzzahl).

    Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen MaxCapacity.

    Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die diesem JobRun zugewiesen sind. Von 2 bis 100 DPUs können zugeordnet werden. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

  • ExecutionTime – Zahl (Ganzzahl).

    Die Zeit (in Sekunden), in der durch die Auftragsausführung Ressourcen verbraucht wurden.

  • Timeout – Zahl (ganze Zahl), mindestens 1.

    DerJobRun-Timeoutwert in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in den TIMEOUT-Status wechselt. Dieser Wert überschreibt den Wert der Zeitüberschreitung im übergeordneten Auftrag.

    Streaming-Jobs müssen Timeout-Werte von weniger als 7 Tagen oder 10080 Minuten haben. Wenn der Wert leer gelassen wird, wird der Job nach 7 Tagen neu gestartet, sofern Sie kein Wartungsfenster eingerichtet haben. Wenn Sie ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.

  • MaxCapacity – Nummer (doppelt).

    Für Glue-Jobs der Version 1.0 oder früher unter Verwendung des Standard-Worker-Typs die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn dieser Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

    Bei Aufträgen ab Glue-Version 2.0 können Sie keine Maximum capacity angeben. Stattdessen sollten Sie einen Worker type und die Number of workers festlegen.

    Setzen Sie nicht MaxCapacity, wenn Sie WorkerType und NumberOfWorkers verwenden.

    Der Wert, der MaxCapacity zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:

    • Wenn Sie einen Python-Shell-Auftrag (JobCommand.Name="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU.

    • Wenn Sie eine Apache Spark ETL-Aufgabe (JobCommand.Name=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.

  • WorkerType – UTF-8-Zeichenfolge (zulässige Werte: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.

    • Für den G.1X-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.2X-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.4X-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm).

    • Für den G.8X-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für den G.4X Worker-Typ unterstützt werden.

    • Für den G.025X-Worker-Typ ist jedem Worker 0,25 DPU (2  vCPUs, 4 GB Arbeitsspeicher) mit 84 GB Festplattenspeicher (ca. 34 GB frei) zugeordnet, und es wird 1 Ausführer pro Worker bereitgestellt. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Jobs der AWS Glue Version 3.0 verfügbar.

    • Für den Z.2X-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.

  • NumberOfWorkers – Zahl (Ganzzahl).

    Die Anzahl der Worker eines definierten workerType die zugewiesenj werden, wenn ein Auftrag ausgeführt wird.

  • SecurityConfiguration – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der SecurityConfiguration-Struktur, die mit diesem Auftrag verwendet werden soll.

  • LogGroupName – UTF-8-Zeichenfolge.

    Der Name der Protokollgruppe für die sichere Protokollierung, die in Amazon CloudWatch serverseitig verschlüsselt werden kann. AWS KMS Dieser Name kann /aws-glue/jobs/ sein, in diesem Fall ist die Standard-Verschlüsselung NONE. Wenn Sie einen Rollennamen und einen SecurityConfiguration- Namen (d. h., /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/) verwenden, dann wird die Sicherheitskonfiguration verwendet, um die Protokollgruppe zu verschlüsseln.

  • NotificationProperty – Ein NotificationProperty-Objekt.

    Gibt die Konfigurationseigenschaften einer Auftragsausführungs-Benachrichtigung an.

  • GlueVersion – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #20.

    GlueVersionErmittelt in Spark-Jobs die Versionen von Apache Spark und Python, die in einem Job AWS Glue verfügbar sind. Die Python-Version gibt die Version an, die für Aufträge vom Typ Spark unterstützt wird.

    In Ray-Aufträge sollte die GlueVersion auf 4.0 oder höher eingestellt sein. Welche Versionen von Ray, Python und zusätzlichen Bibliotheken in Ihrem Ray-Auftrag verfügbar sind, wird jedoch durch die Runtime-Parameter des Auftragsbefehls bestimmt.

    Weitere Informationen zu den verfügbaren AWS Glue Versionen und den entsprechenden Spark- und Python-Versionen finden Sie unter Glue-Version im Entwicklerhandbuch.

    Für Aufträge, die ohne Angabe einer Glue-Version erstellt werden, gilt standardmäßig Glue 0.9.

  • DPUSeconds – Nummer (doppelt).

    Dieses Feld kann entweder für Jobausführungen mit Ausführungsklasse FLEX oder bei aktiviertem Auto Scaling festgelegt werden. Es stellt die Gesamtzeit, die jeder Executor während des Lebenszyklus einer Jobausführung ausgeführt hat, in Sekunden dar, multipliziert mit einem DPU-Faktor (1 fürG.1X, 2 für oder 0,25 für G.2X Worker). G.025X Dieser Wert kann von executionEngineRuntime * MaxCapacity abweichen, da die Anzahl der zu einem bestimmten Zeitpunkt ausgeführten Executors bei Auto-Scaling-Aufträgen geringer sein kann als die MaxCapacity. Daher ist es möglich, dass der Wert von DPUSeconds kleiner ist als executionEngineRuntime * MaxCapacity.

  • ExecutionClass – UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte: FLEX="" | STANDARD="").

    Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.

    Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.

    Nur Jobs mit AWS Glue Version 3.0 und höher und mit dem Befehlstyp dürfen auf glueetl gesetzt werden. ExecutionClass FLEX Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar.

  • MaintenanceWindow – UTF-8-Zeichenfolge, die Custom string pattern #30 entspricht.

    Dieses Feld gibt einen Wochentag und eine Stunde für ein Wartungsfenster für Streaming-Jobs an. AWS Glue führt regelmäßig Wartungsarbeiten durch. Während dieser Wartungsfenster müssen AWS Glue Sie Ihre Streaming-Jobs neu starten.

    AWS Glue wird den Job innerhalb von 3 Stunden nach Ablauf des angegebenen Wartungsfensters neu starten. Wenn Sie beispielsweise das Wartungsfenster für Montag um 10:00 Uhr GMT einrichten, werden Ihre Jobs zwischen 10:00 Uhr GMT und 13:00 Uhr GMT neu gestartet.

  • ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name eines AWS Glue Nutzungsprofils, das mit dem ausgeführten Job verknüpft ist.

Vorgängerstruktur

Eine Auftragsausführung, die im Prädikat eines bedingten Auslösers verwendet wurde, der diese Auftragsausführung ausgelöst hat.

Felder

  • JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der Auftragsdefinition, der bei der vorherigen Auftragsausführung verwendet wurde.

  • RunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die Auftragsausführungs-ID der Vorgängerauftragsausführung.

JobBookmarkEntry Struktur

Definiert einen Punkt, bei dem ein Auftrag die Verarbeitung fortsetzen kann.

Felder

  • JobName – UTF-8-Zeichenfolge.

    Der Name des jeweiligen Auftrags.

  • Version – Zahl (Ganzzahl).

    Die Version des Auftrags.

  • Run – Zahl (Ganzzahl).

    Die Ausführungs-ID-Nummer.

  • Attempt – Zahl (Ganzzahl).

    Die Versuchs-ID-Nummer.

  • PreviousRunId – UTF-8-Zeichenfolge.

    Die eindeutige Ausführungskennung, die der vorherigen Auftragsausführung zugeordnet ist.

  • RunId – UTF-8-Zeichenfolge.

    Die Ausführungs-ID-Nummer.

  • JobBookmark – UTF-8-Zeichenfolge.

    Die Textmarke selbst.

BatchStopJobRunSuccessfulSubmission Struktur

Zeichnet eine erfolgreiche Anforderung auf, um einen bestimmten JobRun zu stoppen.

Felder

  • JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der Auftragsdefinition, der bei der gestoppten Auftragsausführung verwendet wurde.

  • JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die JobRunId der Auftragsausführung, die gestoppt wurde.

BatchStopJobRunError Struktur

Zeichnet einen Fehler auf, der beim Versuch, eine bestimmte Auftragsausführung zu stoppen, aufgetreten ist.

Felder

  • JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der Auftragsdefinition, der bei der fraglichen Auftragsausführung verwendet wurde.

  • JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die JobRunId der jeweiligen Auftragsausführung.

  • ErrorDetail – Ein ErrorDetail-Objekt.

    Gibt Details über den aufgetretenen Fehler an.

NotificationProperty Struktur

Gibt die Konfigurationseigenschaften einer Benachrichtigung an.

Felder

  • NotifyDelayAfter – Zahl (ganze Zahl), mindestens 1.

    Nach dem Start eines Auftragslaufs gibt dies die Anzahl der Minuten an, die gewartet werden muss, bevor eine Benachrichtigung über die Verzögerung eines Auftragslaufs gesendet wird.

Operationen

StartJobRun Aktion (Python: start_job_run)

Startet einen Auftrag mit einer Auftragsdefinition.

Anforderung

  • JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der zu verwendenden Auftragsdefinition.

  • JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die ID einer vorherigen JobRun für einen erneuten Versuch.

  • Arguments – Ein Map-Array von Schlüssel-Wert-Paaren.

    Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

    Jeder Wert ist eine UTF-8-Zeichenfolge.

    Die mit dieser Ausführung verknüpften Auftragsargumente. Für diese Auftragsauführung ersetzen sie den Satz der Standardargumente direkt in der Auftragsdefinition.

    Sie können hier Argumente angeben, die Ihr eigenes Jobausführungsskript verwendet, sowie Argumente, die selbst verwendet werden. AWS Glue

    Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Rufen Sie Geheimnisse aus einer AWS Glue Verbindung AWS Secrets Manager oder einem anderen geheimen Verwaltungsmechanismus ab, wenn Sie beabsichtigen, sie innerhalb des Job zu behalten.

    Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue -APIs in Python im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.

    Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.

  • AllocatedCapacity – Zahl (Ganzzahl).

    Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen MaxCapacity.

    Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die diesem Vorgang zugewiesen werden sollen. JobRun Sie können ab 2 DPUs zuweisen. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

  • Timeout – Zahl (ganze Zahl), mindestens 1.

    DerJobRun-Timeoutwert in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in den TIMEOUT-Status wechselt. Dieser Wert überschreibt den Wert der Zeitüberschreitung im übergeordneten Auftrag.

    Streaming-Jobs müssen Timeout-Werte von weniger als 7 Tagen oder 10080 Minuten haben. Wenn der Wert leer gelassen wird, wird der Job nach 7 Tagen neu gestartet, sofern Sie kein Wartungsfenster eingerichtet haben. Wenn Sie ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.

  • MaxCapacity – Nummer (doppelt).

    Für Glue-Jobs der Version 1.0 oder früher unter Verwendung des Standard-Worker-Typs die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn dieser Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste.

    Bei Aufträgen ab Glue-Version 2.0 können Sie keine Maximum capacity angeben. Stattdessen sollten Sie einen Worker type und die Number of workers festlegen.

    Setzen Sie nicht MaxCapacity, wenn Sie WorkerType und NumberOfWorkers verwenden.

    Der Wert, der MaxCapacity zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:

    • Wenn Sie einen Python-Shell-Auftrag (JobCommand.Name="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU.

    • Wenn Sie eine Apache Spark ETL-Aufgabe (JobCommand.Name=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.

  • SecurityConfiguration – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der SecurityConfiguration-Struktur, die mit diesem Auftrag verwendet werden soll.

  • NotificationProperty – Ein NotificationProperty-Objekt.

    Gibt die Konfigurationseigenschaften einer Auftragsausführungs-Benachrichtigung an.

  • WorkerType – UTF-8-Zeichenfolge (zulässige Werte: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

    Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.

    • Für den G.1X-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.2X-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

    • Für den G.4X-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm).

    • Für den G.8X-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für den G.4X Worker-Typ unterstützt werden.

    • Für den G.025X-Worker-Typ ist jedem Worker 0,25 DPU (2  vCPUs, 4 GB Arbeitsspeicher) mit 84 GB Festplattenspeicher (ca. 34 GB frei) zugeordnet, und es wird 1 Ausführer pro Worker bereitgestellt. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Jobs der AWS Glue Version 3.0 verfügbar.

    • Für den Z.2X-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.

  • NumberOfWorkers – Zahl (Ganzzahl).

    Die Anzahl der Worker eines definierten workerType die zugewiesenj werden, wenn ein Auftrag ausgeführt wird.

  • ExecutionClass – UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte: FLEX="" | STANDARD="").

    Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.

    Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.

    Nur Jobs mit AWS Glue Version 3.0 und höher und dem Befehlstyp dürfen ExecutionClass auf gesetzt glueetl werdenFLEX. Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar.

  • ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name eines AWS Glue Verwendungsprofils, das mit der Auftragsausführung verknüpft ist.

Antwort

  • JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die dieser Auftragsausführung zugewiesenen ID.

Fehler

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • ConcurrentRunsExceededException

BatchStopJobRun Aktion (Python: batch_stop_job_run)

Beendet eine oder mehrere Auftragsausführungen für eine bestimmte Auftragsdefinition.

Anforderung

  • JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der Auftragsdefinition, für die Auftragsausführungen gestoppt werden sollen.

  • JobRunIds – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 25 Zeichenfolgen.

    Eine Liste der JobRunIds, die für diese Auftragsdefinition gestoppt werden sollen.

Antwort

  • SuccessfulSubmissions – Ein Array mit BatchStopJobRunSuccessfulSubmission-Objekten.

    Eine Liste der, die erfolgreich zum Stoppen eingereicht wurden JobRuns .

  • Errors – Ein Array mit BatchStopJobRunError-Objekten.

    Eine Liste der Fehler, die beim Versuch, die JobRuns zu stoppen, aufgetreten sind, einschließlich der JobRunId, bei der jeder Fehler aufgetreten ist und Details über den Fehler.

Fehler

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

GetJobRun Aktion (Python: get_job_run)

Ruft die Metadaten für eine bestimmte Auftragsausführung ab. Der Verlauf der Auftragsausführung ist 90 Tage lang für Ihren Workflow und Ihre Auftragsausführung zugänglich.

Anforderung

  • JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name der ausgeführten Auftragsdefinition.

  • RunId – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Die ID der Auftragsausführung.

  • PredecessorsIncluded – Boolesch.

    "True", wenn eine Liste der Vorgängerausführungen zurückgegeben werden soll.

Antwort

  • JobRun – Ein JobRun-Objekt.

    Die angeforderten Metadaten der Auftragsausführung.

Fehler

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobRuns Aktion (Python: get_job_runs)

Ruft Metadaten für alle Ausführungen einer bestimmten Auftragsdefinition ab.

Anforderung

  • JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

    Der Name de Auftragsdefinition, für die alle Auftragsausführungen abgerufen werden sollen.

  • NextToken – UTF-8-Zeichenfolge.

    Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.

  • MaxResults— Zahl (Ganzzahl), nicht weniger als 1 oder mehr als 200.

    Die maximale Größe der Antwort.

Antwort

  • JobRuns – Ein Array mit JobRun-Objekten.

    Eine Liste der Metadatenobjekte der Auftragsausführung.

  • NextToken – UTF-8-Zeichenfolge.

    Ein Fortsetzungs-Token, falls nicht alle angeforderten Auftragsausführungen zurückgegeben wurden.

Fehler

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetJobBookmark Aktion (Python: get_job_bookmark)

Gibt Informationen zu einem Auftrags-Lesezeicheneintrag zurück.

Weitere Informationen zum Aktivieren und Verwenden von Auftragslesezeichen finden Sie unter:

Anforderung

  • JobName – Erforderlich: UTF-8-Zeichenfolge.

    Der Name des jeweiligen Auftrags.

  • Version – Zahl (Ganzzahl).

    Die Version des Auftrags.

  • RunId – UTF-8-Zeichenfolge.

    Die dieser Auftragsausführung zugeordnete eindeutige Kennung.

Antwort

  • JobBookmarkEntry – Ein JobBookmarkEntry-Objekt.

    Eine Struktur, die einen Punkt definiert, an dem ein Auftrag die Verarbeitung fortsetzen kann.

Fehler

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • ValidationException

GetJobBookmarks Aktion (Python: get_job_bookmarks)

Gibt Informationen zu den Auftrags-Lesezeicheneinträgen zurück. Die Liste wird nach abnehmenden Versionsnummern sortiert.

Weitere Informationen zum Aktivieren und Verwenden von Auftragslesezeichen finden Sie unter:

Anforderung

  • JobName – Erforderlich: UTF-8-Zeichenfolge.

    Der Name des jeweiligen Auftrags.

  • MaxResults – Zahl (Ganzzahl).

    Die maximale Größe der Antwort.

  • NextToken – Zahl (Ganzzahl).

    Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.

Antwort

  • JobBookmarkEntries – Ein Array mit JobBookmarkEntry-Objekten.

    Eine Liste der Auftrags-Lesezeicheneinträge, die einen Punkt definiert, an dem ein Auftrag die Verarbeitung fortsetzen kann.

  • NextToken – Zahl (Ganzzahl).

    Ein Fortsetzungstoken, der den Wert 1 hat, wenn alle Einträge zurückgegeben werden, oder >1, wenn nicht alle angeforderten Auftragsausführungen zurückgegeben wurden.

Fehler

  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

ResetJobBookmark Aktion (Python: reset_job_bookmark)

Setzt einen Textmarkeneintrag zurück.

Weitere Informationen zum Aktivieren und Verwenden von Auftragslesezeichen finden Sie unter:

Anforderung

  • JobName – Erforderlich: UTF-8-Zeichenfolge.

    Der Name des jeweiligen Auftrags.

  • RunId – UTF-8-Zeichenfolge.

    Die dieser Auftragsausführung zugeordnete eindeutige Kennung.

Antwort

  • JobBookmarkEntry – Ein JobBookmarkEntry-Objekt.

    Der zurückgesetzte Textmarkeneintrag.

Fehler

  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException