S3 KeyExists - AWS Data Pipeline

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

S3 KeyExists

檢查 Amazon S3 資料節點中是否存在金鑰。

範例

以下為此物件類型的範例。當 s3Key 參數所參考的鍵 (s3://mybucket/mykey) 存在時,便會觸發先決條件。

{ "id" : "InputReady", "type" : "S3KeyExists", "role" : "test-role", "s3Key" : "s3://mybucket/mykey" }

您也可以在第二個管道上使用 S3KeyExists 做為先決條件,等待第一個管道完成。若要這麼做:

  1. 在第一個管道完成後,將檔案寫入 Amazon S3。

  2. 在第二個管道上建立 S3KeyExists 先決條件。

語法

必要欄位 描述 槽類型
role 指定要用來執行先決條件的角色。 字串
s3Key Amazon S3 密鑰。 字串

選用欄位 描述 槽類型
attemptStatus 遠端活動最新回報的狀態。 字串
attemptTimeout 再一次嘗試完成遠端工作之前逾時。如果設定,則系統可能會再次嘗試未在開始之後、設定時間內完成的遠端活動。 期間
failureAndRerun模式 描述相依性故障或重新執行時的消費者節點行為。 列舉
lateAfterTimeout 管線開始後,物件必須在其中完成的經過時間。僅當明細表類型未設定為時,才會觸發此選項ondemand 期間
maximumRetries 在故障發生時可啟動的嘗試數量上限。 Integer
onFail 目前物件發生故障時要執行的動作。 引用對象,例如「onFail」:{「參考」:myActionId「}
onLateAction 某個物件尚未排程或仍未完成時,應該觸發的動作。 引用對象,例如 onLateAction「「:{" ref」:」myActionId「}
onSuccess 目前物件成功時要執行的動作。 引用對象,例如「onSuccess」:{「裁判」:myActionId「}
parent 目前物件的父系,其插槽會被繼承。 引用對象,例如「父」:{「ref」:「myBaseObjectID」}
preconditionTimeout 自開始起的一段期間,在這段期間之後,如果仍未符合先決條件即會將其標示為失敗。 期間
reportProgressTimeout 遠端工作連續呼叫 reportProgress 的逾時。如果設定,則系統可能會將未回報指定時段進度的遠端活動視為已停滯並重試。 期間
retryDelay 兩次連續嘗試之間的逾時持續時間。 期間

執行時間欄位 描述 槽類型
@activeInstances 目前已排程的作用中執行個體物件清單。 引用對象,例如「活動實例」:{「ref」:「myRunnableObjectId」}
@actualEndTime 此物件執行完成的時間。 DateTime
@actualStartTime 此物件執行開始的時間。 DateTime
cancellationReason 若此物件已取消,會提供 cancellationReason。 字串
@cascadeFailedOn 物件失敗所在的相依鏈的描述。 參考物件,例如 cascadeFailedOn "" ": {" ref」: "myRunnableObjectId"}
currentRetryCount 在這個嘗試中,已嘗試過先決條件的次數。 字串
emrStepLog 只在 EMR 活動嘗試時才可使用的 EMR 步驟日誌 字串
errorId 若此物件失敗,會提供 errorId。 字串
errorMessage 若此物件失敗,會提供 errorMessage。 字串
errorStackTrace 如果此物件失敗,則為錯誤堆疊追蹤。 字串
hadoopJobLog 嘗試 EMR 型活動可用的 Hadoop 任務日誌。 字串
hostname 選取任務嘗試之用戶端的主機名稱。 字串
lastRetryTime 在這個嘗試中,上次嘗試先決條件的時間。 字串
節點 即將執行此先決條件的節點 引用對象,例如「節點」:{「參考」:「myRunnableObjectID」}
reportProgressTime 遠端活動最近報告進度的時間。 DateTime
@scheduledEndTime 物件的排程結束時間 DateTime
@scheduledStartTime 物件的排程開始時間 DateTime
@status 此物件的狀態。 字串
@version 建立物件使用的管道版本。 字串
@waitingOn 此物件等待之相依性清單的描述。 引用對象,例如「等待」:{「參考」:「myRunnableObjectID」}

系統欄位 描述 槽類型
@error 描述格式錯誤物件的錯誤 字串
@pipelineId 此物件所屬管道的 ID 字串
@sphere 物件範圍代表其在生命週期中的位置:Component 物件會引發執行 Attempt 物件的 Instance 物件 字串

另請參閲