AWS データパイプラインの使用

注意

AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様は、通常どおりサービスを AWS Data Pipeline 引き続き使用できます。詳細はこちら

AWS Data Pipeline は、データの移動と変換を自動化するために使用できるウェブサービスです。Data Pipeline を使用すると、ソースアカウントからテーブルデータをエクスポートするパイプラインを作成できます。エクスポートされたデータは、ターゲットアカウントの Amazon Simple Storage Service (Amazon S3) バケットに保存されます。ターゲットアカウントの S3 バケットは、ソースアカウントからアクセスできる必要があります。このクロスアカウントアクセスを許可するには、ターゲット S3 バケットのアクセスコントロールリスト (ACL) を更新します。

ターゲットアカウント (Account-B) に別のパイプラインを作成して、S3 バケットからターゲットアカウントのテーブルにデータをインポートします。

これは、Amazon DynamoDB テーブルを Amazon S3 にバックアップし、DynamoDB テーブルからネイティブに読み取るサポートが導入されるまで Amazon S3 から復元する従来の方法でした。 AWS Glue

利点

• これはサーバーレスソリューションです。

• 新しいコードは必要ありません。

• AWS Data Pipeline は、ジョブのバックグラウンドで Amazon EMR クラスターを使用するため、このアプローチは効率的で、大規模なデータセットを処理できます。

欠点

• 追加の AWS サービス (Data Pipeline と Amazon S3) が必要です。

• このプロセスでは、ソーステーブルと関連するターゲットテーブルでプロビジョニングされたスループットを消費するため、パフォーマンスと可用性に影響する可能性があります。

• このアプローチでは、DynamoDB 読み込みキャパシティーユニット (RCUs) と書き込みキャパシティーユニット (WCUs) のコストよりも追加コストが発生します。