S3 PrefixNotEmpty - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

S3 PrefixNotEmpty

檢查具有指定前置詞 (以 a 表示URI) 的 Amazon S3 物件是否存在的先決條件。

範例

以下是此物件類型的範例,使用必要、選擇性及表達式欄位。

{ "id" : "InputReady", "type" : "S3PrefixNotEmpty", "role" : "test-role", "s3Prefix" : "#{node.filePath}" }

語法

必要欄位 描述 槽類型
role 指定要用來執行先決條件的角色。 字串
s3Prefix 用於檢查對象是否存在的 Amazon S3 前綴。 字串

選用欄位 描述 槽類型
attemptStatus 遠端活動最新回報的狀態。 字串
attemptTimeout 遠端工作完成的逾時。如果設定,則系統可能會重試未在設定開始時間內完成的遠端活動。 期間
failureAndRerun模式 描述相依性故障或重新執行時的消費者節點行為 列舉
lateAfterTimeout 管線開始後,物件必須在其中完成的經過時間。僅當明細表類型未設定為時,才會觸發此選項ondemand 期間
maximumRetries 故障時嘗試重試的次數上限 Integer
onFail 目前物件發生故障時要執行的動作。 引用對象,例如 onFail「「:{" ref」:」myActionId「}
onLateAction 某個物件尚未排程或仍未完成時,應該觸發的動作。 引用對象,例如 onLateAction「「:{" ref」:」myActionId「}
onSuccess 目前物件成功時要執行的動作。 引用對象,例如 onSuccess「「:{" ref」:」myActionId「}
parent 目前物件的父系,其插槽會被繼承。 引用對象,例如「父」:{「ref」:「myBaseObjectID」}
preconditionTimeout 自開始起的一段期間,在這段期間之後,如果仍未符合先決條件即會將其標示為失敗 期間
reportProgressTimeout 遠端工作連續呼叫的逾時。reportProgress如果設定,則不回報指定時段進度的遠端活動,可能會視為已停滯而重試。 期間
retryDelay 兩次重試嘗試之間的逾時持續時間。 期間

執行時間欄位 描述 槽類型
@activeInstances 目前已排程的作用中執行個體物件清單。 參考物件,例如 activeInstances "" ": {" ref」: "myRunnableObjectId"}
@actualEndTime 此物件執行完成的時間。 DateTime
@actualStartTime 此物件執行開始的時間。 DateTime
cancellationReason cancellationReason 如果此物件已取消。 字串
@cascadeFailedOn 物件失敗所在的相依鏈的描述。 參考物件,例如 cascadeFailedOn "" ": {" ref」: "myRunnableObjectId"}
currentRetryCount 在這個嘗試中,已嘗試過先決條件的次數。 字串
emrStepLog EMR步驟記錄僅適用於EMR活動嘗試 字串
errorId errorId 如果此對象失敗。 字串
errorMessage errorMessage 如果此對象失敗。 字串
errorStackTrace 如果此物件失敗,則為錯誤堆疊追蹤。 字串
hadoopJobLog Hadoop 工作日誌可用於EMR基於活動的嘗試。 字串
hostname 選取任務嘗試之用戶端的主機名稱。 字串
lastRetryTime 在這個嘗試中,上次嘗試先決條件的時間。 字串
節點 即將執行此先決條件的節點。 引用對象,例如「節點」:{「參考」:「myRunnableObjectID」}
reportProgressTime 遠端活動最近報告進度的時間。 DateTime
@scheduledEndTime 物件的排程結束時間。 DateTime
@scheduledStartTime 物件的排程開始時間。 DateTime
@status 此物件的狀態。 字串
@version 建立物件使用的管道版本。 字串
@waitingOn 此物件等待之相依性清單的描述。 參考物件,例如 waitingOn "" ": {" ref」: "myRunnableObjectId"}

系統欄位 描述 槽類型
@error 描述格式錯誤物件的錯誤 字串
@pipelineId 此物件所屬管道的 ID 字串
@sphere 物件範圍代表其在生命週期中的位置:Component 物件會引發執行 Attempt 物件的 Instance 物件 字串

另請參閱