AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様 AWS Data Pipeline は、通常どおりサービスを引き続き使用できます。詳細はこちら
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
S3DataNode
Amazon S3 を使用するデータノードを定義します。デフォルトでは、S3DataNode はサーバー側の暗号化を使用します。これを無効にする場合は、s3 を EncryptionType に設定しますNONE。
注記
への入力S3DataNode
として を使用する場合CopyActivity
、 CSVおよび TSV データ形式のみがサポートされます。
例
以下は、このオブジェクト型の例です。このオブジェクトは、同じパイプライン定義ファイルで定義した別のオブジェクトを参照します。CopyPeriod
は Schedule
オブジェクトです。
{ "id" : "OutputData", "type" : "S3DataNode", "schedule" : { "ref" : "CopyPeriod" }, "filePath" : "s3://myBucket/#{@scheduledStartTime}.csv" }
構文
オブジェクト呼び出しフィールド | 説明 | スロットタイプ |
---|---|---|
schedule | このオブジェクトは、スケジュール期間の実行中に呼び出されます。ユーザーは、このオブジェクトの依存関係の実行順序を設定するには、別のオブジェクトへのスケジュール参照を指定する必要があります。ユーザーは、オブジェクトに明示的にスケジュールを設定することで、この要件を満たすことができます。例えば、「スケジュール」: {"ref": "DefaultSchedule"} を指定します。ほとんどの場合、すべてのオブジェクトがそのスケジュールを継承するように、スケジュール参照をデフォルトのパイプラインオブジェクトに配置することをお勧めします。または、パイプラインにスケジュールのツリー (マスタースケジュール内のスケジュール) がある場合、ユーザーは、スケジュール参照がある親オブジェクトを作成することができます。オプションのスケジュール設定の例については、「https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html」を参照してください。 | リファレンスオブジェクト、例:「schedule」:{「ref"myScheduleId」} |
オプションのフィールド | 説明 | スロットタイプ |
---|---|---|
attemptStatus | リモートアクティビティから最も最近報告されたステータス。 | 文字列 |
attemptTimeout | リモートの作業完了のタイムアウト。設定された場合、設定された開始時間内に完了しなかったリモートアクティビティを再試行することができます。 | [Period] (期間) |
compression | S3DataNode によって記述されるデータの圧縮のタイプ。「none」は圧縮されず、「gzip」は gzip アルゴリズムで圧縮されます。このフィールドは、Amazon Redshift での使用と、 で S3DataNode を使用する場合にのみサポートされます CopyActivity。 | 一覧表 |
dataFormat | DataFormat この S3DataNode で説明されているデータの 。 | リファレンスオブジェクト、例: "dataFormat":{"ref"myDataFormatId"} |
dependsOn | 実行可能な別のオブジェクトで依存関係を指定します | リファレンスオブジェクト、例: "dependsOn":{"ref"myActivityId"} |
directoryPath | としての Amazon S3 ディレクトリパスURI: s3://my-bucket/my-key-for-directory。 filePath または directoryPath 値を指定する必要があります。 | 文字列 |
failureAndRerunモード | 依存関係が失敗または再実行されたときのコンシューマーノードの動作を示します。 | 一覧表 |
filePath | としての Amazon S3 内のオブジェクトへのパスURI。例: s3://my-bucket/my-key-for-file。 filePath または directoryPath 値を指定する必要があります。これらの値は、フォルダとファイル名を表します。 directoryPath 値を使用して、ディレクトリ内の複数のファイルに対応します。 | 文字列 |
lateAfterTimeout | オブジェクトが完了しなければならない、パイプライン開始からの経過時間。スケジュールタイプが ondemand に設定されていない場合にのみトリガーされます。 |
[Period] (期間) |
manifestFilePath | Amazon Redshift. でサポートされている形式のマニフェストファイルへの Amazon S3 パスは、マニフェストファイル AWS Data Pipeline を使用して、指定された Amazon S3 ファイルをテーブルにコピーします。このフィールドは、 が S3DataNode RedShiftCopyActivity を参照する場合にのみ有効です。 | 文字列 |
maxActiveInstances | コンポーネントで同時にアクティブになるインスタンスの最大数。再実行はアクティブなインスタンスの数にはカウントされません。 | 整数 |
maximumRetries | 失敗時の最大再試行回数 | 整数 |
onFail | 現在のオブジェクトが失敗したときに実行するアクション。 | リファレンスオブジェクト、例: "onFail":{"ref"myActionId"} |
onLateAction | オブジェクトが予定されていないか、まだ完了していない場合にトリガーされるアクション。 | リファレンスオブジェクト、例: "onLateAction":{"ref"myActionId"} |
onSuccess | 現在のオブジェクトが成功したときに実行するアクション。 | リファレンスオブジェクト、例: "onSuccess":{"ref"myActionId"} |
parent | スロットの継承元となる現在のオブジェクトの親。 | リファレンスオブジェクト、例:「parent」:{「ref"myBaseObjectId」} |
pipelineLogUri | パイプラインのログをアップロードするための S3 URI (「s3://BucketName/Key/」など)。 | 文字列 |
precondition | オプションで前提条件を定義します。データノードは、すべての前提条件が満たされREADYるまで「」とマークされません。 | リファレンスオブジェクト、例:「precondition」:{「ref"myPreconditionId」} |
reportProgressTimeout | へのリモートワークの連続呼び出しのタイムアウトreportProgress。設定された場合、指定された期間の進捗状況を報告しないリモートアクティビティは停止されたと見なし、再試行できます。 | [Period] (期間) |
retryDelay | 2 回の再試行の間のタイムアウト期間。 | [Period] (期間) |
runsOn | アクティビティまたはコマンドを実行するコンピューティングリソース。例えば、Amazon EC2インスタンスや Amazon EMRクラスターなどです。 | リファレンスオブジェクト、例: "runsOn":{"ref"myResourceId"} |
s3EncryptionType | Amazon S3 の暗号化タイプをオーバーライドします。値は SERVER_SIDE_ENCRYPTION または ですNONE。デフォルトではサーバー側の暗号化が有効化されます。 | 一覧表 |
scheduleType | スケジュールタイプによって、パイプライン定義のオブジェクトを、期間の最初にスケジュールするか、最後にスケジュールするかを指定できます。[Time Series Style Scheduling] は、インスタンスが各間隔の最後にスケジュールされることを意味し、[Cron Style Scheduling] は、インスタンスが各間隔の最初にスケジュールされることを意味します。オンデマンドスケジュールにより、アクティベーションごとに 1 回パイプラインを実行することができます。つまり、パイプラインを再実行するために、クローンしたり再作成したりする必要はありません。オンデマンドスケジュールを使用する場合は、デフォルトオブジェクトで指定する必要があり、パイプライン内のオブジェクトに対して scheduleType 指定されるのは のみです。オンデマンドパイプラインを使用するには、後続の実行ごとに ActivatePipeline オペレーションを呼び出すだけです。値は、cron、ondemand、および timeseries です。 | 一覧表 |
workerGroup | ワーカーグループ。これはルーティングタスクに使用されます。 runsOn 値を指定して workerGroup 存在する場合、 workerGroup は無視されます。 | 文字列 |
実行時フィールド | 説明 | スロットタイプ |
---|---|---|
@activeInstances | 現在スケジュールされているアクティブなインスタンスオブジェクトのリスト。 | リファレンスオブジェクト、例: "activeInstances":{"ref"myRunnableObjectId"} |
@actualEndTime | このオブジェクトの実行が終了した時刻。 | DateTime |
@actualStartTime | このオブジェクトの実行が開始された時刻。 | DateTime |
cancellationReason | このオブジェクト cancellationReason がキャンセルされた場合の 。 | 文字列 |
@cascadeFailedOn | オブジェクトが失敗した際の依存関係チェーンの説明。 | リファレンスオブジェクト、例: "cascadeFailedOn":{"ref"myRunnableObjectId"} |
emrStepLog | EMR EMRアクティビティの試行でのみ使用できるステップログ | 文字列 |
errorId | このオブジェクトが失敗 errorId した場合の 。 | 文字列 |
errorMessage | このオブジェクトが失敗 errorMessage した場合の 。 | 文字列 |
errorStackTrace | このオブジェクトが失敗した場合は、エラースタックトレース。 | 文字列 |
@finishedTime | このオブジェクトが実行を終了した時刻。 | DateTime |
hadoopJobLog | EMRベースのアクティビティの試行で使用可能な Hadoop ジョブログ。 | 文字列 |
@healthStatus | 終了状態に達した最後のオブジェクトインスタンスの成功または失敗を反映する、オブジェクトのヘルスステータス。 | 文字列 |
@healthStatusFromInstanceId | 終了状態に達した最後のインスタンスオブジェクトの ID。 | 文字列 |
@healthStatusUpdatedTime | ヘルス状態が最後に更新された時間。 | DateTime |
hostname | タスクの試行を取得したクライアントのホスト名。 | 文字列 |
@lastDeactivatedTime | このオブジェクトが最後に非アクティブ化された時刻。 | DateTime |
@latestCompletedRunTime | 実行が完了した最後の実行の時刻。 | DateTime |
@latestRunTime | 実行がスケジュールされた最後の実行の時刻。 | DateTime |
@nextRunTime | 次回にスケジュールされた実行の時刻。 | DateTime |
reportProgressTime | リモートアクティビティで進捗状況が報告された最新の時刻。 | DateTime |
@scheduledEndTime | オブジェクトの予定された終了時刻 | DateTime |
@scheduledStartTime | オブジェクトの予定された開始時刻 | DateTime |
@status | このオブジェクトのステータス。 | 文字列 |
@version | オブジェクトが作成されたパイプラインのバージョン。 | 文字列 |
@waitingOn | このオブジェクトが待機している依存関係のリストの説明。 | リファレンスオブジェクト、例: "waitingOn":{"ref"myRunnableObjectId"} |
システムフィールド | 説明 | スロットタイプ |
---|---|---|
@error | 形式が正しくないオブジェクトを説明するエラー | 文字列 |
@pipelineId | このオブジェクトが属するパイプラインの ID | 文字列 |
@sphere | オブジェクトの球は、ライフサイクルにおける場所を示します。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します | 文字列 |