Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Auftragsausführungen
Die Jobs Runs-API beschreibt die Datentypen und die API im Zusammenhang mit dem Starten, Stoppen oder Anzeigen von Auftragsausführungen und dem Zurücksetzen von Job-Lesezeichen unter. AWS Glue Der Verlauf der Auftragsausführung ist 90 Tage lang für Ihren Workflow und Ihre Auftragsausführung zugänglich.
Datentypen
JobRun Struktur
Enthält Informationen zu einer Auftragsausführung.
Felder
-
Id
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID dieser Auftragsausführung.
-
Attempt
– Zahl (Ganzzahl).Die Anzahl der Versuche für die Ausführung dieses Auftrags.
-
PreviousRunId
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID der vorherigen Ausführung dieses Auftrags. Beispiel: Die
JobRunId
in derStartJobRun
-Aktion. -
TriggerName
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name des Auslösers, der diese Auftragsausführung gestartet hat.
-
JobName
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der Auftragsdefinition, die in dieser Ausführung verwendet wird.
-
JobMode
– UTF-8-Zeichenfolge (zulässige Werte:SCRIPT=""
|VISUAL=""
|NOTEBOOK=""
).Ein Modus, der beschreibt, wie ein Job erstellt wurde. Gültige Werte für sind:
-
SCRIPT
- Der Job wurde mit dem AWS Glue Studio-Skripteditor erstellt. -
VISUAL
- Der Job wurde mit dem Visual Editor von AWS Glue Studio erstellt. -
NOTEBOOK
- Der Job wurde mit einem interaktiven Sitzungsnotizbuch erstellt.
Wenn das
JobMode
Feld fehlt oder NullSCRIPT
ist, wird es als Standardwert zugewiesen. -
-
StartedOn
– Zeitstempel.Das Datum und die Uhrzeit, an denen diese Auftragsausführung gestartet wurde
-
LastModifiedOn
– Zeitstempel.Der letzte Zeitpunkt, an dem diese Auftragsausführung geändert wurde.
-
CompletedOn
– Zeitstempel.Das Datum und die Uhrzeit, an denen diese Auftragsausführung abgeschlossen wurde
-
JobRunState
— UTF-8-Zeichenfolge (gültige Werte:STARTING
| | |RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
| |TIMEOUT
ERROR
WAITING
|EXPIRED
).Den aktuellen Status der Auftragsausführung. Weitere Informationen über den Status von Aufgaben, die in ungewöhnlicher Weise beendet wurden, finden Sie unter AWS Glue -Aufgabenausführungsstatus.
-
Arguments
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine UTF-8-Zeichenfolge.
Jeder Wert ist eine UTF-8-Zeichenfolge.
Die mit dieser Ausführung verknüpften Auftragsargumente. Für diese Auftragsauführung ersetzen sie den Satz der Standardargumente direkt in der Auftragsdefinition.
Sie können hier Argumente angeben, die Ihr eigenes Job-Ausführungsskript verwendet, sowie Argumente, die selbst verwendet werden. AWS Glue
Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Rufen Sie Geheimnisse aus einer AWS Glue Verbindung AWS Secrets Manager oder einem anderen geheimen Verwaltungsmechanismus ab, wenn Sie beabsichtigen, sie innerhalb des Job zu behalten.
Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue -APIs in Python im Entwicklerhandbuch.
Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.
Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.
-
ErrorMessage
– UTF-8-Zeichenfolge.Eine Fehlermeldung, die mit dieser Auftragsausführung verknüpft ist.
-
PredecessorRuns
– Ein Array mit Vorgänger-Objekten.Eine Liste der Vorgänger zu dieser Auftragsausführung.
-
AllocatedCapacity
– Zahl (Ganzzahl).Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen
MaxCapacity
.Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die diesem JobRun zugewiesen sind. Von 2 bis 100 DPUs können zugeordnet werden. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste
. -
ExecutionTime
– Zahl (Ganzzahl).Die Zeit (in Sekunden), in der durch die Auftragsausführung Ressourcen verbraucht wurden.
-
Timeout
– Zahl (ganze Zahl), mindestens 1.Der
JobRun
-Timeoutwert in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in denTIMEOUT
-Status wechselt. Dieser Wert überschreibt den Wert der Zeitüberschreitung im übergeordneten Auftrag.Streaming-Jobs müssen Timeout-Werte von weniger als 7 Tagen oder 10080 Minuten haben. Wenn der Wert leer gelassen wird, wird der Job nach 7 Tagen neu gestartet, sofern Sie kein Wartungsfenster eingerichtet haben. Wenn Sie ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.
-
MaxCapacity
– Nummer (doppelt).Für Glue-Jobs der Version 1.0 oder früher unter Verwendung des Standard-Worker-Typs die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn dieser Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste
. Bei Aufträgen ab Glue-Version 2.0 können Sie keine
Maximum capacity
angeben. Stattdessen sollten Sie einenWorker type
und dieNumber of workers
festlegen.Setzen Sie nicht
MaxCapacity
, wenn SieWorkerType
undNumberOfWorkers
verwenden.Der Wert, der
MaxCapacity
zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:-
Wenn Sie einen Python-Shell-Auftrag (
JobCommand.Name
="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU. -
Wenn Sie eine Apache Spark ETL-Aufgabe (
JobCommand.Name
=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name
="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.
-
-
WorkerType
– UTF-8-Zeichenfolge (zulässige Werte:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.
-
Für den
G.1X
-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen. -
Für den
G.2X
-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen. -
Für den
G.4X
-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm). -
Für den
G.8X
-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für denG.4X
Worker-Typ unterstützt werden. -
Für den
G.025X
-Worker-Typ ist jedem Worker 0,25 DPU (2 vCPUs, 4 GB Arbeitsspeicher) mit 84 GB Festplattenspeicher (ca. 34 GB frei) zugeordnet, und es wird 1 Ausführer pro Worker bereitgestellt. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Jobs der AWS Glue Version 3.0 verfügbar. -
Für den
Z.2X
-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.
-
-
NumberOfWorkers
– Zahl (Ganzzahl).Die Anzahl der Worker eines definierten
workerType
die zugewiesenj werden, wenn ein Auftrag ausgeführt wird. -
SecurityConfiguration
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der
SecurityConfiguration
-Struktur, die mit diesem Auftrag verwendet werden soll. -
LogGroupName
– UTF-8-Zeichenfolge.Der Name der Protokollgruppe für die sichere Protokollierung, die in Amazon CloudWatch serverseitig verschlüsselt werden kann. AWS KMS Dieser Name kann
/aws-glue/jobs/
sein, in diesem Fall ist die Standard-VerschlüsselungNONE
. Wenn Sie einen Rollennamen und einenSecurityConfiguration
- Namen (d. h.,/aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/
) verwenden, dann wird die Sicherheitskonfiguration verwendet, um die Protokollgruppe zu verschlüsseln. -
NotificationProperty
– Ein NotificationProperty-Objekt.Gibt die Konfigurationseigenschaften einer Auftragsausführungs-Benachrichtigung an.
-
GlueVersion
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #20.GlueVersion
Ermittelt in Spark-Jobs die Versionen von Apache Spark und Python, die in einem Job AWS Glue verfügbar sind. Die Python-Version gibt die Version an, die für Aufträge vom Typ Spark unterstützt wird.In Ray-Aufträge sollte die
GlueVersion
auf4.0
oder höher eingestellt sein. Welche Versionen von Ray, Python und zusätzlichen Bibliotheken in Ihrem Ray-Auftrag verfügbar sind, wird jedoch durch dieRuntime
-Parameter des Auftragsbefehls bestimmt.Weitere Informationen zu den verfügbaren AWS Glue Versionen und den entsprechenden Spark- und Python-Versionen finden Sie unter Glue-Version im Entwicklerhandbuch.
Für Aufträge, die ohne Angabe einer Glue-Version erstellt werden, gilt standardmäßig Glue 0.9.
-
DPUSeconds
– Nummer (doppelt).Dieses Feld kann entweder für Jobausführungen mit Ausführungsklasse
FLEX
oder bei aktiviertem Auto Scaling festgelegt werden. Es stellt die Gesamtzeit, die jeder Executor während des Lebenszyklus einer Jobausführung ausgeführt hat, in Sekunden dar, multipliziert mit einem DPU-Faktor (1 fürG.1X
, 2 für oder 0,25 fürG.2X
Worker).G.025X
Dieser Wert kann vonexecutionEngineRuntime
*MaxCapacity
abweichen, da die Anzahl der zu einem bestimmten Zeitpunkt ausgeführten Executors bei Auto-Scaling-Aufträgen geringer sein kann als dieMaxCapacity
. Daher ist es möglich, dass der Wert vonDPUSeconds
kleiner ist alsexecutionEngineRuntime
*MaxCapacity
. -
ExecutionClass
– UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte:FLEX=""
|STANDARD=""
).Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.
Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.
Nur Jobs mit AWS Glue Version 3.0 und höher und mit dem Befehlstyp dürfen auf
glueetl
gesetzt werden.ExecutionClass
FLEX
Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar. -
MaintenanceWindow
– UTF-8-Zeichenfolge, die Custom string pattern #30 entspricht.Dieses Feld gibt einen Wochentag und eine Stunde für ein Wartungsfenster für Streaming-Jobs an. AWS Glue führt regelmäßig Wartungsarbeiten durch. Während dieser Wartungsfenster müssen AWS Glue Sie Ihre Streaming-Jobs neu starten.
AWS Glue wird den Job innerhalb von 3 Stunden nach Ablauf des angegebenen Wartungsfensters neu starten. Wenn Sie beispielsweise das Wartungsfenster für Montag um 10:00 Uhr GMT einrichten, werden Ihre Jobs zwischen 10:00 Uhr GMT und 13:00 Uhr GMT neu gestartet.
-
ProfileName
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name eines AWS Glue Nutzungsprofils, das mit dem ausgeführten Job verknüpft ist.
Vorgängerstruktur
Eine Auftragsausführung, die im Prädikat eines bedingten Auslösers verwendet wurde, der diese Auftragsausführung ausgelöst hat.
Felder
-
JobName
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der Auftragsdefinition, der bei der vorherigen Auftragsausführung verwendet wurde.
-
RunId
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die Auftragsausführungs-ID der Vorgängerauftragsausführung.
JobBookmarkEntry Struktur
Definiert einen Punkt, bei dem ein Auftrag die Verarbeitung fortsetzen kann.
Felder
-
JobName
– UTF-8-Zeichenfolge.Der Name des jeweiligen Auftrags.
-
Version
– Zahl (Ganzzahl).Die Version des Auftrags.
-
Run
– Zahl (Ganzzahl).Die Ausführungs-ID-Nummer.
-
Attempt
– Zahl (Ganzzahl).Die Versuchs-ID-Nummer.
-
PreviousRunId
– UTF-8-Zeichenfolge.Die eindeutige Ausführungskennung, die der vorherigen Auftragsausführung zugeordnet ist.
-
RunId
– UTF-8-Zeichenfolge.Die Ausführungs-ID-Nummer.
-
JobBookmark
– UTF-8-Zeichenfolge.Die Textmarke selbst.
BatchStopJobRunSuccessfulSubmission Struktur
Zeichnet eine erfolgreiche Anforderung auf, um einen bestimmten JobRun
zu stoppen.
Felder
-
JobName
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der Auftragsdefinition, der bei der gestoppten Auftragsausführung verwendet wurde.
-
JobRunId
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die
JobRunId
der Auftragsausführung, die gestoppt wurde.
BatchStopJobRunError Struktur
Zeichnet einen Fehler auf, der beim Versuch, eine bestimmte Auftragsausführung zu stoppen, aufgetreten ist.
Felder
-
JobName
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der Auftragsdefinition, der bei der fraglichen Auftragsausführung verwendet wurde.
-
JobRunId
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die
JobRunId
der jeweiligen Auftragsausführung. -
ErrorDetail
– Ein ErrorDetail-Objekt.Gibt Details über den aufgetretenen Fehler an.
NotificationProperty Struktur
Gibt die Konfigurationseigenschaften einer Benachrichtigung an.
Felder
-
NotifyDelayAfter
– Zahl (ganze Zahl), mindestens 1.Nach dem Start eines Auftragslaufs gibt dies die Anzahl der Minuten an, die gewartet werden muss, bevor eine Benachrichtigung über die Verzögerung eines Auftragslaufs gesendet wird.
Operationen
StartJobRun Aktion (Python: start_job_run)
Startet einen Auftrag mit einer Auftragsdefinition.
Anforderung
-
JobName
– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der zu verwendenden Auftragsdefinition.
-
JobRunId
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID einer vorherigen
JobRun
für einen erneuten Versuch. -
Arguments
– Ein Map-Array von Schlüssel-Wert-Paaren.Jeder Schlüssel ist eine UTF-8-Zeichenfolge.
Jeder Wert ist eine UTF-8-Zeichenfolge.
Die mit dieser Ausführung verknüpften Auftragsargumente. Für diese Auftragsauführung ersetzen sie den Satz der Standardargumente direkt in der Auftragsdefinition.
Sie können hier Argumente angeben, die Ihr eigenes Jobausführungsskript verwendet, sowie Argumente, die selbst verwendet werden. AWS Glue
Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Rufen Sie Geheimnisse aus einer AWS Glue Verbindung AWS Secrets Manager oder einem anderen geheimen Verwaltungsmechanismus ab, wenn Sie beabsichtigen, sie innerhalb des Job zu behalten.
Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue -APIs in Python im Entwicklerhandbuch.
Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.
Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.
-
AllocatedCapacity
– Zahl (Ganzzahl).Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen
MaxCapacity
.Die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die diesem Vorgang zugewiesen werden sollen. JobRun Sie können ab 2 DPUs zuweisen. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste
. -
Timeout
– Zahl (ganze Zahl), mindestens 1.Der
JobRun
-Timeoutwert in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in denTIMEOUT
-Status wechselt. Dieser Wert überschreibt den Wert der Zeitüberschreitung im übergeordneten Auftrag.Streaming-Jobs müssen Timeout-Werte von weniger als 7 Tagen oder 10080 Minuten haben. Wenn der Wert leer gelassen wird, wird der Job nach 7 Tagen neu gestartet, sofern Sie kein Wartungsfenster eingerichtet haben. Wenn Sie ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.
-
MaxCapacity
– Nummer (doppelt).Für Glue-Jobs der Version 1.0 oder früher unter Verwendung des Standard-Worker-Typs die Anzahl der AWS Glue Datenverarbeitungseinheiten (DPUs), die zugewiesen werden können, wenn dieser Job ausgeführt wird. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS Glue Preisliste
. Bei Aufträgen ab Glue-Version 2.0 können Sie keine
Maximum capacity
angeben. Stattdessen sollten Sie einenWorker type
und dieNumber of workers
festlegen.Setzen Sie nicht
MaxCapacity
, wenn SieWorkerType
undNumberOfWorkers
verwenden.Der Wert, der
MaxCapacity
zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:-
Wenn Sie einen Python-Shell-Auftrag (
JobCommand.Name
="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU. -
Wenn Sie eine Apache Spark ETL-Aufgabe (
JobCommand.Name
=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name
="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.
-
-
SecurityConfiguration
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der
SecurityConfiguration
-Struktur, die mit diesem Auftrag verwendet werden soll. -
NotificationProperty
– Ein NotificationProperty-Objekt.Gibt die Konfigurationseigenschaften einer Auftragsausführungs-Benachrichtigung an.
-
WorkerType
– UTF-8-Zeichenfolge (zulässige Werte:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.
-
Für den
G.1X
-Worker-Typ ist jedem Worker einer DPU (4 vCPUs, 16 GB Arbeitsspeicher) mit 84 GB Festplatte (ca. 34 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen. -
Für den
G.2X
-Worker-Typ ist jedem Worker 2 DPUs (8 vCPUs, 32 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 77 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen. -
Für den
G.4X
-Worker-Typ ist jedem Worker 4 DPUs (16 vCPUs, 64 GB Arbeitsspeicher) mit 256 GB Festplatte (ca. 235 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Workertyp ist nur für Spark ETL-Jobs der AWS Glue Version 3.0 oder höher in den folgenden AWS Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm). -
Für den
G.8X
-Worker-Typ ist jedem Worker 8 DPUs (32 vCPUs, 128 GB Arbeitsspeicher) mit 512 GB Festplatte (ca. 487 GB frei) zugeordnet und stellt 1 Ausführer pro Worker bereit. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Jobs der AWS Glue Version 3.0 oder höher in denselben AWS Regionen verfügbar, die für denG.4X
Worker-Typ unterstützt werden. -
Für den
G.025X
-Worker-Typ ist jedem Worker 0,25 DPU (2 vCPUs, 4 GB Arbeitsspeicher) mit 84 GB Festplattenspeicher (ca. 34 GB frei) zugeordnet, und es wird 1 Ausführer pro Worker bereitgestellt. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Jobs der AWS Glue Version 3.0 verfügbar. -
Für den
Z.2X
-Worker-Typ wird jeder Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte (ca. 120 GB frei) zugeordnet und stellt basierend auf dem Autoscaler bis zu 8 Ray-Worker bereit.
-
-
NumberOfWorkers
– Zahl (Ganzzahl).Die Anzahl der Worker eines definierten
workerType
die zugewiesenj werden, wenn ein Auftrag ausgeführt wird. -
ExecutionClass
– UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte:FLEX=""
|STANDARD=""
).Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.
Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.
Nur Jobs mit AWS Glue Version 3.0 und höher und dem Befehlstyp dürfen
ExecutionClass
auf gesetztglueetl
werdenFLEX
. Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar. -
ProfileName
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name eines AWS Glue Verwendungsprofils, das mit der Auftragsausführung verknüpft ist.
Antwort
-
JobRunId
– UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die dieser Auftragsausführung zugewiesenen ID.
Fehler
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
ResourceNumberLimitExceededException
ConcurrentRunsExceededException
BatchStopJobRun Aktion (Python: batch_stop_job_run)
Beendet eine oder mehrere Auftragsausführungen für eine bestimmte Auftragsdefinition.
Anforderung
-
JobName
– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der Auftragsdefinition, für die Auftragsausführungen gestoppt werden sollen.
-
JobRunIds
– Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 25 Zeichenfolgen.Eine Liste der
JobRunIds
, die für diese Auftragsdefinition gestoppt werden sollen.
Antwort
-
SuccessfulSubmissions
– Ein Array mit BatchStopJobRunSuccessfulSubmission-Objekten.Eine Liste der, die erfolgreich zum Stoppen eingereicht wurden JobRuns .
-
Errors
– Ein Array mit BatchStopJobRunError-Objekten.Eine Liste der Fehler, die beim Versuch, die
JobRuns
zu stoppen, aufgetreten sind, einschließlich derJobRunId
, bei der jeder Fehler aufgetreten ist und Details über den Fehler.
Fehler
InvalidInputException
InternalServiceException
OperationTimeoutException
GetJobRun Aktion (Python: get_job_run)
Ruft die Metadaten für eine bestimmte Auftragsausführung ab. Der Verlauf der Auftragsausführung ist 90 Tage lang für Ihren Workflow und Ihre Auftragsausführung zugänglich.
Anforderung
-
JobName
– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name der ausgeführten Auftragsdefinition.
-
RunId
– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Die ID der Auftragsausführung.
-
PredecessorsIncluded
– Boolesch."True", wenn eine Liste der Vorgängerausführungen zurückgegeben werden soll.
Antwort
-
JobRun
– Ein JobRun-Objekt.Die angeforderten Metadaten der Auftragsausführung.
Fehler
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
GetJobRuns Aktion (Python: get_job_runs)
Ruft Metadaten für alle Ausführungen einer bestimmten Auftragsdefinition ab.
Anforderung
-
JobName
– Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.Der Name de Auftragsdefinition, für die alle Auftragsausführungen abgerufen werden sollen.
-
NextToken
– UTF-8-Zeichenfolge.Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.
-
MaxResults
— Zahl (Ganzzahl), nicht weniger als 1 oder mehr als 200.Die maximale Größe der Antwort.
Antwort
-
JobRuns
– Ein Array mit JobRun-Objekten.Eine Liste der Metadatenobjekte der Auftragsausführung.
-
NextToken
– UTF-8-Zeichenfolge.Ein Fortsetzungs-Token, falls nicht alle angeforderten Auftragsausführungen zurückgegeben wurden.
Fehler
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
GetJobBookmark Aktion (Python: get_job_bookmark)
Gibt Informationen zu einem Auftrags-Lesezeicheneintrag zurück.
Weitere Informationen zum Aktivieren und Verwenden von Auftragslesezeichen finden Sie unter:
Anforderung
-
JobName
– Erforderlich: UTF-8-Zeichenfolge.Der Name des jeweiligen Auftrags.
-
Version
– Zahl (Ganzzahl).Die Version des Auftrags.
-
RunId
– UTF-8-Zeichenfolge.Die dieser Auftragsausführung zugeordnete eindeutige Kennung.
Antwort
-
JobBookmarkEntry
– Ein JobBookmarkEntry-Objekt.Eine Struktur, die einen Punkt definiert, an dem ein Auftrag die Verarbeitung fortsetzen kann.
Fehler
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
ValidationException
GetJobBookmarks Aktion (Python: get_job_bookmarks)
Gibt Informationen zu den Auftrags-Lesezeicheneinträgen zurück. Die Liste wird nach abnehmenden Versionsnummern sortiert.
Weitere Informationen zum Aktivieren und Verwenden von Auftragslesezeichen finden Sie unter:
Anforderung
-
JobName
– Erforderlich: UTF-8-Zeichenfolge.Der Name des jeweiligen Auftrags.
-
MaxResults
– Zahl (Ganzzahl).Die maximale Größe der Antwort.
-
NextToken
– Zahl (Ganzzahl).Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.
Antwort
-
JobBookmarkEntries
– Ein Array mit JobBookmarkEntry-Objekten.Eine Liste der Auftrags-Lesezeicheneinträge, die einen Punkt definiert, an dem ein Auftrag die Verarbeitung fortsetzen kann.
-
NextToken
– Zahl (Ganzzahl).Ein Fortsetzungstoken, der den Wert 1 hat, wenn alle Einträge zurückgegeben werden, oder >1, wenn nicht alle angeforderten Auftragsausführungen zurückgegeben wurden.
Fehler
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
ResetJobBookmark Aktion (Python: reset_job_bookmark)
Setzt einen Textmarkeneintrag zurück.
Weitere Informationen zum Aktivieren und Verwenden von Auftragslesezeichen finden Sie unter:
Anforderung
-
JobName
– Erforderlich: UTF-8-Zeichenfolge.Der Name des jeweiligen Auftrags.
-
RunId
– UTF-8-Zeichenfolge.Die dieser Auftragsausführung zugeordnete eindeutige Kennung.
Antwort
-
JobBookmarkEntry
– Ein JobBookmarkEntry-Objekt.Der zurückgesetzte Textmarkeneintrag.
Fehler
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException