AWS Data Pipeline を使用した Amazon S3 バケット間での CSV データのコピー
「AWS Data Pipelineとは?」を読み、AWS Data Pipeline を使用してデータの移動と変換を自動化することを決定したら、データパイプラインの作成を開始します。AWS Data Pipeline での処理の意味を理解しやすくするために、単純なタスクを使って手順を説明します。
このチュートリアルでは、Amazon S3 バケット間でデータをコピーし、コピーアクティビティが正常に完了した後、Amazon SNS 通知を送信するデータパイプラインを作成するプロセスについて順を追って説明します。このコピーアクティビティでは、AWS Data Pipeline によって管理される EC2 インスタンスを使用します。
パイプラインオブジェクト
このパイプラインでは以下のオブジェクトを使用します。
- CopyActivity
-
このパイプラインのために AWS Data Pipeline が実行するアクティビティ (Amazon S3 バケット間での CSV データのコピー)。
重要
CopyActivity
およびS3DataNode
での CSV ファイル形式の使用には、制限事項があります。詳細については、「CopyActivity」を参照してください。 - スケジュール
-
このアクティビティの開始日、時刻、および繰り返し。オプションで終了日時を指定できます。
- Ec2Resource
-
このアクティビティを実行するために AWS Data Pipeline が使用するリソース(EC2 インスタンス)。
- S3DataNode
-
このパイプラインの入力ノードと出力ノード (Amazon S3 バケット)。
- SnsAlarm
-
指定された条件が満たされたときに AWS Data Pipeline が実行する必要があるアクション (タスクが正常に終了した後、トピックに Amazon SNS 通知を送信する)。