アクティビティ

AWS Data Pipeline では、アクティビティは実行する作業を定義するパイプラインコンポーネントです。​AWS Data Pipeline には、ある場所から別の場所へのデータの移動、Hive クエリの実行など、一般的なシナリオに対応するパッケージ済みのアクティビティがいくつか用意されています。アクティビティは拡張可能であるため、独自のカスタムスクリプトを実行して、無限の組み合わせをサポートできます。

AWS Data Pipeline は、次のタイプのアクティビティをサポートしています。

CopyActivity

ある場所から別の場所にデータをコピーします。

EmrActivity

Amazon EMR クラスターを実行します。

HiveActivity

Amazon EMR クラスターで Hive クエリを実行します。

HiveCopyActivity

高度なデータフィルタリングのサポートおよび S3DataNode と DynamoDBDataNode のサポートを使用して、Amazon EMR クラスターで Hive クエリを実行します。

PigActivity

Amazon EMR クラスターで Pig スクリプトを実行します。

RedshiftCopyActivity

Amazon Redshift テーブルとの間でデータをコピーします。

ShellCommandActivity

アクティビティとしてカスタム UNIX/Linux シェルコマンドを実行します。

SqlActivity

データベースに対する SQL クエリを実行します。

一部のアクティビティでは、データとデータベーステーブルのステージングについて特別なサポートが提供されています。詳細については、「パイプラインのアクティビティによるデータとテーブルのステージング」を参照してください。