S3 KeyExists - AWS Data Pipeline

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

S3 KeyExists

Prüft, ob ein Schlüssel in einem Amazon S3-Datenknoten vorhanden ist.

Beispiel

Es folgt ein Beispiel für diesen Objekttyp. Die Vorbedingung wird ausgelöst, wenn der Schlüssel, s3://mybucket/mykey, auf den der s3Key-Parameter verweist, vorhanden ist.

{ "id" : "InputReady", "type" : "S3KeyExists", "role" : "test-role", "s3Key" : "s3://mybucket/mykey" }

Sie können S3KeyExists auch als Voraussetzung für die zweite Pipeline verwenden, die darauf wartet, dass die erste Pipeline abgeschlossen wird. Gehen Sie hierzu wie folgt vor:

  1. Schreiben Sie am Ende der Fertigstellung der ersten Pipeline eine Datei in Amazon S3.

  2. Erstellen Sie eine S3KeyExists-Vorbedingung für die zweite Pipeline.

Syntax

Pflichtfelder Beschreibung Slot-Typ
role Legt die Rolle für die Ausführung der Vorbedingung fest. String
s3Key Der Amazon S3 S3-Schlüssel. String

Optionale Felder Beschreibung Slot-Typ
attemptStatus Zuletzt gemeldeter Status von der Remote-Aktivität. String
attemptTimeout Timeout vor dem Versuch, die Remote-Arbeit noch einmal auszuführen. Wenn diese Option aktiviert ist, wird erneut versucht, eine Remote-Aktivität durchzuführen, die nach dem Start nicht innerhalb der festgelegten Zeit abgeschlossen wird. Intervall
failureAndRerunModus Beschreibt das Verhalten des Konsumentenknotens, wenn Abhängigkeiten fehlschlagen oder erneut ausgeführt werden. Aufzählung
lateAfterTimeout Die nach dem Start der Pipeline verstrichene Zeit, innerhalb der das Objekt abgeschlossen werden muss. Sie wird nur ausgelöst, wenn der Zeitplantyp nicht auf eingestellt ist. ondemand Intervall
maximumRetries Maximale Anzahl der Versuche, die bei einem Fehler initiiert werden. Ganzzahl
onFail Eine Aktion, die ausgeführt werden soll, wenn das aktuelle Objekt fehlschlägt. Referenzobjekt, z. B. „onFail“: {"ref“:“ myActionId „}
onLateAction Aktionen, die ausgelöst werden sollen, wenn ein Objekt noch nicht geplant oder noch nicht abgeschlossen wurde. Referenzobjekt, z. B. "onLateAction„: {" ref“:“ myActionId „}
onSuccess Eine Aktion, die ausgeführt wird, wenn das aktuelle Objekt erfolgreich ist. Referenzobjekt, z. B. „onSuccess“: {"ref“:“ myActionId „}
übergeordneter Übergeordnetes Objekt des aktuellen Objekts, aus dem Slots übernommen werden. Referenzobjekt, z. B. „parent“: {"ref“:“ myBaseObject Id "}
preconditionTimeout Der Zeitraum ab dem die Vorbedingung als fehlgeschlagen gekennzeichnet ist, wenn sie noch nicht erfüllt ist. Intervall
reportProgressTimeout Timeout für aufeinanderfolgende Aufrufe von Remote-Arbeit in reportProgress. Wenn diese Option aktiviert ist, werden Remote-Aktivitäten, die den Fortschritt für den angegebenen Zeitraum nicht melden, als fehlgeschlagen angesehen und es wird erneut versucht. Intervall
retryDelay Die Zeitüberschreitungsdauer zwischen zwei aufeinander folgenden Versuchen. Intervall

Laufzeitfelder Beschreibung Slot-Typ
@activeInstances Liste der aktuell geplanten aktiven Instance-Objekte. Referenzobjekt, z. B. „activeInstances“: {"ref“:“ myRunnableObject Id "}
@actualEndTime Zeitpunkt, zu dem die Ausführung dieses Objekts abgeschlossen wurde. DateTime
@actualStartTime Zeitpunkt, zu dem die Ausführung dieses Objekts gestartet wurde. DateTime
cancellationReason Die cancellationReason, wenn dieses Objekt storniert wurde. String
@cascadeFailedOn Beschreibung der Abhängigkeitskette, bei der das Objekt fehlgeschlagen ist. Referenzobjekt, z. B. "cascadeFailedOn„: {" ref“:“ myRunnableObject Id "}
currentRetryCount Anzahl, wie oft die Vorbedingung in diesem Versuch probiert wurde. String
emrStepLog EMR-Schrittprotokolle nur bei EMR-Aktivitätsversuchen verfügbar String
errorId Die errorId, wenn dieses Objekt fehlgeschlagen ist. String
errorMessage Die errorMessage, wenn dieses Objekt fehlgeschlagen ist. String
errorStackTrace Die Fehler-Stack-Ablaufverfolgung., wenn dieses Objekt fehlgeschlagen ist. String
hadoopJobLog Hadoop-Jobprotokolle für Versuche für EMR-basierte Aktivitäten verfügbar. String
hostname Der Hostname des Clients, der den Aufgabenversuch aufnimmt. String
lastRetryTime Das letzte Mal, dass die Vorbedingung in diesem Versuch probiert wurde. String
node Der Knoten, für den diese Vorbedingung ausgeführt wird Referenzobjekt, z. B. „node“: {"ref“:“ myRunnableObject Id "}
reportProgressTime Der letzte Zeitpunkt, an dem die Remote-Aktivität einen Fortschritt gemeldet hat. DateTime
@scheduledEndTime Endzeit für Objekt einplanen DateTime
@scheduledStartTime Startzeit für Objekt einplanen DateTime
@Status Der Status des Objekts. String
@Version Pipeline-Version, mit der das Objekt erstellt wurde. String
@waitingOn Beschreibung der Liste der Abhängigkeiten, auf die dieses Objekt wartet. Referenzobjekt, z. B. „WaitingOn“: {"ref“:“ myRunnableObject Id "}

Systemfelder Beschreibung Slot-Typ
@error Fehler mit einer Beschreibung des falsch formatierten Objekts String
@pipelineId Id der Pipeline, zu der dieses Objekt gehört String
@sphere Die Kugel eines Objekts bezeichnet seinen Platz im Lebenszyklus: Komponentenobjekte ergeben Instance-Objekte, die Versuchsobjekte ausführen String

Weitere Informationen finden Sie unter: