S3KeyExists - AWS Data Pipeline

S3KeyExists

Amazon S3 データノードにキーがあるかどうかを確認します。

以下は、このオブジェクト型の例です。前提条件は、s3Key パラメータで参照されるキー (s3://mybucket/mykey) が存在する場合にトリガーされます。

{ "id" : "InputReady", "type" : "S3KeyExists", "role" : "test-role", "s3Key" : "s3://mybucket/mykey" }

最初のパイプラインが完了するまで待機する 2 番目のパイプラインで、S3KeyExists を前提条件として使用することもできます。そのためには、次の操作を行います。

  1. 最初のパイプラインの完了の最後に Amazon S3 にファイルを書き込みます。

  2. S3KeyExists 前提条件を 2 番目のパイプラインに作成します。

Syntax

必須フィールド 説明 スロットタイプ
ロール 前提条件を実行するために使用するロールを指定します。 文字列
s3Key Amazon S3 キー。 文字列

オプションのフィールド 説明 スロットタイプ
attemptStatus リモートアクティビティから最も最近報告されたステータス。 文字列
attemptTimeout リモートの作業の完了をもう 1 回試みるまでのタイムアウト。設定された場合、開始後に設定された時間内に完了しなかったリモートアクティビティが再試行されます。 [Period] (期間)
failureAndRerunMode 依存関係が失敗または再実行されたときのコンシューマーノードの動作を示します。 一覧表
lateAfterTimeout オブジェクトが完了しなければならない、パイプライン開始からの経過時間。スケジュールタイプが ondemand に設定されていない場合にのみトリガーされます。 [Period] (期間)
maximumRetries 障害時に開始される最大試行数。 整数
onFail 現在のオブジェクトが失敗したときに実行するアクション。 参照オブジェクト (onFail:{"ref":"myActionId"} など)
onLateAction オブジェクトが予定されていないか、まだ完了していない場合にトリガーされるアクション。 参照オブジェクト ("onLateAction":{"ref":"myActionId"} など)
onSuccess 現在のオブジェクトが成功したときに実行するアクション。 参照オブジェクト ("onSuccess":{"ref":"myActionId"} など)
parent スロットの継承元となる現在のオブジェクトの親。 参照オブジェクト ("parent":{"ref":"myBaseObjectId"} など)
preconditionTimeout まだ満たされていない場合に失敗として前提条件がマークされた後の、起動からの期間。 [Period] (期間)
reportProgressTimeout reportProgress へのリモート作業の連続した呼び出しのタイムアウト。設定された場合、指定された期間の進捗状況を報告しないリモートアクティビティは停止されたと見なし、再試行できます。 [Period] (期間)
retryDelay 2 回の連続した再試行の間のタイムアウト期間。 [Period] (期間)

実行時フィールド 説明 スロットタイプ
@activeInstances 現在スケジュールされているアクティブなインスタンスオブジェクトのリスト。 参照オブジェクト ("activeInstances":{"ref":"myRunnableObjectId"} など)
@actualEndTime このオブジェクトの実行が終了した時刻。 DateTime
@actualStartTime このオブジェクトの実行が開始された時刻。 DateTime
cancellationReason このオブジェクトがキャンセルされた場合の cancellationReason。 文字列
@cascadeFailedOn オブジェクトが失敗した際の依存関係チェーンの説明。 参照オブジェクト ("cascadeFailedOn":{"ref":"myRunnableObjectId"} など)
currentRetryCount この試行で前提条件が試みられた回数。 文字列
emrStepLog EMR アクティビティの試行でのみ使用可能な EMR ステップログ 文字列
errorId このオブジェクトが失敗した場合は errorId。 文字列
errorMessage このオブジェクトが失敗した場合は errorMessage。 文字列
errorStackTrace このオブジェクトが失敗した場合は、エラースタックトレース。 文字列
hadoopJobLog EMR ベースのアクティビティで試みることができる Hadoop ジョブのログ。 文字列
hostname タスクの試行を取得したクライアントのホスト名。 文字列
lastRetryTime この試行内で最後に前提条件が試みられた時刻。 文字列
node この前提条件が実行されている対象ノード 参照オブジェクト ("node":{"ref":"myRunnableObjectId"} など)
reportProgressTime リモートアクティビティで進捗状況が報告された最新の時刻。 DateTime
@scheduledEndTime オブジェクトの予定された終了時刻 DateTime
@scheduledStartTime オブジェクトの予定された開始時刻 DateTime
@status このオブジェクトのステータス。 文字列
@version オブジェクトが作成されたパイプラインのバージョン。 文字列
@waitingOn このオブジェクトが待機している依存関係のリストの説明。 参照オブジェクト ("waitingOn":{"ref":"myRunnableObjectId"} など)

システムフィールド 説明 スロットタイプ
@error 形式が正しくないオブジェクトを説明するエラー 文字列
@pipelineId このオブジェクトが属するパイプラインの ID 文字列
@sphere オブジェクトの球は、ライフサイクルにおける場所を示します。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します 文字列

以下の資料も参照してください。