ドキュメント履歴 - AWS Data Pipeline

ドキュメント履歴

この文書は、AWS Data Pipelineの2012年10月29日バージョンに関連付けられています。

変更 説明 リリース日
AWSCLIを使用して特定の手順を実行するためのドキュメントを追加しました。AWS Data Pipelineコンソール関連の手順を削除しました。

詳細については、パイプラインのクローン作成パイプラインのログの表示、およびCLI を使用して Data Pipeline テンプレートからパイプラインを作成するを参照してください。

2023年5月26日
AWS Data Pipelineから他の代替サービスに移行するためのコンテンツとサンプルを追加しました。

AWS Step Functions、AWS GlueまたはAmazon MWAAへのAWS Data Pipelineの移行に関するトピックを更新し、それぞれの代替方法、サービス間のコンセプトマッピング、およびサンプルに関する詳細情報を追加しました。詳細については、「AWS Data Pipelineからのワークロードの移行」を参照してください。

2023年3月31日
AWS Data PipelineによるIMDSv2のサポートに関する情報を追加しました。

AWS Data Pipeline は、Amazon EMR および Amazon EC2 リソースの IMDSv2 をサポートします。詳細については、AWS Data Pipeline でのデータ保護EmrCluster、およびEc2Resourceを参照してください。

2022年12月16日
AWS Data Pipelineから他の代替サービスへの移行に関するトピックを追加しました。

現在、お客様により優れたデータ統合エクスペリエンスを提供するAWSサービスが他にもあります。AWS Data Pipelineの一般的なユースケースは、AWS Glue、AWSStep FunctionsまたはAmazon MWAAのいずれかに移行できます。詳細については、「AWS Data Pipelineからのワークロードの移行」を参照してください。

2022年12月16日

サポートされているAmazon EC2およびAmazon EMRインスタンスのリストを更新しました。

インスタンスに使用されているハードウェア仮想マシン(HVM)AMIのIDのリストを更新しました。

サポートされているAmazon EC2およびAmazon EMRインスタンスのリストを更新しました。詳細については、「パイプラインの作業アクティビティ用にサポートされているインスタンスタイプ」を参照してください。

インスタンスに使用されているハードウェア仮想マシン(HVM)AMIのIDのリストを更新しました。詳細については、「Syntax」を参照し、imageIdを検索してください。

2018年11月9日
クラスターノードへのAmazon EBSボリュームのアタッチと、プライベートサブネット内でのAmazon EMRクラスターの起動に関する設定を追加しました。

EMRcluster オブジェクトに設定オプションを追加しました。これらのオプションは、Amazon EMRクラスターを使用するパイプラインで使用できます。

Amazon EMRクラスターのコア、マスター、タスクの各ノードに対するAmazon EBSボリュームのアタッチを設定するには、coreEbsConfigurationmasterEbsConfigurationTaskEbsConfigurationの各フィールドを使用します。詳細については、「クラスターノードに EBS ボリュームをアタッチする」を参照してください。

Amazon EMRクラスターをプライベートサブネットで設定するには、emrManagedMasterSecurityGroupIdemrManagedSlaveSecurityGroupIdServiceAccessSecurityGroupIdの各フィールドを使用します。詳細については、「プライベートサブネットでの Amazon EMR クラスターの設定」を参照してください。

EMRcluster 構文の詳細については、「EmrCluster」を参照してください。

2018年4月19日
サポートされているAmazon EC2およびAmazon EMRインスタンスのリストを追加しました。

パイプライン定義にインスタンスタイプを指定しなかった場合に、AWS Data Pipelineでデフォルトで作成されるインスタンスのリストを追加しました。サポートされているAmazon EC2およびAmazon EMRインスタンスのリストを追加しました。詳細については、「パイプラインの作業アクティビティ用にサポートされているインスタンスタイプ」を参照してください。

2018年3月22日
オンデマンドパイプラインのサポートを追加しました。
  • パイプラインを再アクティブ化することで再実行できるオンデマンドパイプラインのサポートが追加されました。

2016年2月22日
RDS データベースの追加サポート
  • rdsInstanceIdregion、およびjdbcDriverJarUriRdsDatabaseに追加されました。

  • RdsDatabaseもサポートするためにSqlActivity内のdatabaseが更新されました。

2015年8月17日
追加のJDBCのサポート
2015年7月7日
HadoopActivity、アベイラビリティーゾーン、およびスポットのサポート
  • Hadoopクラスターに並列作業を送信できるようになりました。詳細については、「HadoopActivity」を参照してください。

  • Ec2ResourceEmrClusterで使用するスポットインスタンスをリクエストする機能が追加されました。

  • 指定したアベイラビリティーゾーンでEmrClusterリソースを起動する機能を追加しました。

2015年6月1日
パイプラインの非アクティブ化

アクティブなパイプラインの非アクティブ化のサポートが追加されました。詳細については、「パイプラインの非アクティブ化」を参照してください。

2015年4月7日
更新されたテンプレートとコンソール

新しいテンプレートを追加しました。[Getting Started with ShellCommandActivity]テンプレートを使用するように、使用開始のセクションを更新しました。詳細については、「CLI を使用して Data Pipeline テンプレートからパイプラインを作成する」を参照してください。

2014年11月25日
VPC サポート

Virtual Private Cloud (VPC)でリソースを起動するためのサポートを追加しました。

2014年3月12日
リージョンのサポート

複数サービスリージョンのサポートを追加しました。us-east-1に加えて、eu-west-1ap-northeast-1ap-southeast-2、およびus-west-2でAWS Data Pipelineがサポートされています。

2014年2月20日
Amazon Redshiftサポート

AWS Data PipelineにAmazon Redshiftのサポートを追加しました。これには、新しいコンソールテンプレート(Copy to Redshift)と、このテンプレートの使い方を示すチュートリアルが含まれています。詳細については、「AWS Data Pipeline を使用した Amazon Redshift へのデータのコピー」、「RedshiftDataNode」、「RedshiftDatabase」、および「RedshiftCopyActivity」を参照してください。

2013年11月6日
PigActivity

PigActivityが追加されました。Pigのネイティブサポートを提供します。詳細については、「PigActivity」を参照してください。

2013年10月15日
新しいコンソールテンプレート、アクティビティ、およびデータ形式

新しい HiveCopyActivityやDynamoDBExportDataFormatを含め、新しい[CrossRegion DynamoDB Copy]コンソールテンプレートが追加されました。

2013年8月21日
カスケードの失敗と再実行

AWS Data Pipelineによる失敗のカスケードと再実行の動作に関する情報を追加しました。詳細については、「カスケードの失敗と再実行」を参照してください。

2013年8月8日
トラブルシューティングの動画

AWS Data Pipelineの基本的なトラブルシューティングの動画を追加しました。詳細については、「トラブルシューティング」を参照してください。

2013年7月17日
アクティブなパイプラインの編集

アクティブなパイプラインの編集およびパイプラインコンポーネントの再実行に関する詳細情報が追加されました。詳細については、「パイプラインの編集」を参照してください。

2013年7月17日
異なるリージョンでのリソースの使用

異なるリージョン内のリソースの使用に関する詳細情報を追加しました。詳細については、「複数のリージョンにあるリソースとパイプラインの使用」を参照してください。

2013年6月17日
WAITING_ON_DEPENDENCIESステータス

CHECKING_PRECONDITIONSステータスは WAITING_ON_DEPENDENCIESに変更され、パイプラインオブジェクトの@waitingOn実行時フィールドが追加されました。

2013年5月20日
DynamoDBDataFormat

DynamoDBDataFormatテンプレートを追加しました。

2013年4月23日
ウェブログの処理に関する動画とスポットインスタンスサポート

「AWS Data Pipeline、Amazon EMR、およびHiveでウェブログを処理する」という動画と、Amazon EC2スポットインスタンスのサポートを紹介しました。

2013年2月21日

『AWS Data Pipeline 開発者ガイド』の初回リリース。

2012年12月20日