チュートリアル:Google クラウドストレージから Amazon S3 へのデータ転送

次のチュートリアルでは、AWS DataSyncを使用して Google Cloud Storage バケットから Amazon S3 バケットにオブジェクトを移行する方法を示しています。

概要

は Google クラウドストレージ XML API DataSync と統合されているため、コードを記述しなくてもオブジェクトを Amazon S3 にコピーできます。これがどのように機能するかは、 DataSync 転送を容易にするエージェントをどこにデプロイするかによって異なります。

Agent in Google Cloud

1. Google Cloud DataSync 環境にエージェントをデプロイします。

2. エージェントはハッシュベースの認証コード (HMAC) キーを使用して Google Cloud Storage Code (HMAC) キーを使用して Google Cloud Storage Code (HMAC) キーを使用して Google Cloud Storage Code

3. Google Cloud Storage バケットのオブジェクトは、パブリックエンドポイントを使用して TLS 1.2AWS クラウド を経由してに安全に移動します。

4. DataSync サービスによって S3 バケットにデータが書き込まれます。

以下の図は、転送を示しています。

Agent in your VPC

1. DataSync AWSエージェントは環境内の仮想プライベートクラウド (VPC) にデプロイします。

2. エージェントはハッシュベースの認証コード (HMAC) キーを使用して Google Cloud Storage Code (HMAC) キーを使用して Google Cloud Storage Code (HMAC) キーを使用して Google Cloud Storage Code

3. Google Cloud Storage バケットのオブジェクトは、プライベート VPC エンドポイントを使用して TLS 1.2AWS クラウド を経由してに安全に移動します。

4. DataSync サービスによって S3 バケットにデータが書き込まれます。

以下の図は、転送を示しています。

コスト

この移行に関連する料金には以下が含まれます。

• Google Compute Engine 仮想マシン（VM）インスタンスの実行（Google Cloud DataSync にエージェントをデプロイする場合）

• Amazon EC2 インスタンスの実行 (内の VPC DataSync にエージェントをデプロイする場合AWS)

• を使用してデータを転送する DataSync

• Google クラウドストレージからのデータの転送

• Amazon S3 にデータを保存する

前提条件

まだ行っていない場合は、開始する前に、以下を実行します。

• 転送先のオブジェクトを含む Google Cloud Storage バケットを作成しますAWS。

• にサインアップAWS アカウント.

• オブジェクトが入ったら、保管するための Amazon S3 バケットを作成しますAWS。

ステップ 1: Google Cloud Storage バケットの HMAC キーを作成する

DataSync Google サービスアカウントに関連付けられた HMAC キーを使用して、データの転送元のバケットを認証して読み取ります。(HMAC キーの作成方法の詳細については、Google クラウドストレージのドキュメントをご覧ください。)

HMAC キーを作成するには

1. Google サービスアカウントの HMAC キーを作成します。

2. GoogleStorage Object Viewer サービスアカウントに少なくとも権限があることを確認してください。

3. Hey のアクセス ID とシークレットは安全な場所に保存します。

   これらの項目は、 DataSync 後でソースロケーションを設定する際に必要になります。

ステップ 2: ネットワークを設定する

この移行のネットワーク要件は、 DataSync エージェントの導入方法によって異なります。

Google DataSync クラウドのエージェントの場合

Google Cloud DataSync でエージェントをホストする場合は、 DataSync パブリックエンドポイント経由の転送を許可するようにネットワークを設定します。

VPC DataSync のエージェントの場合

でエージェントをホストする場合はAWS、インターフェースエンドポイントを備えた VPC が必要です。 DataSync VPC エンドポイントを使用して転送を容易にします。

VPC エンドポイント用にネットワークを設定するには

1. お持ちでない場合は、S3AWS リージョン バケットと同じ VPC を作成してください。

2. VPC のプライベートサブネットを作成します。

3. を使用して VPC エンドポイントを作成しますAWS PrivateLink。 DataSync

4. VPC DataSync エンドポイント経由の転送を許可するようにネットワークを設定します。

   必要な設定変更を行うために、VPC エンドポイントに関連付けられているセキュリティグループを変更できます。詳細については、「Amazon VPC ユーザーガイド」の「セキュリティグループを使用してリソースへのトラフィックを制御する」を参照してください。

ステップ 3: DataSync エージェントを作成する

Google Cloud Storage DataSync バケットにアクセスして読み取ることができるエージェントが必要です。

Google Cloud の場合

このシナリオでは、 DataSync エージェントは Google Cloud 環境で実行されます。

始める前に:Google クラウド CLI をインストールします。

Google Cloud 用のエージェントを作成するには

1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

2. 左のナビゲーションペインで [エージェント] (エージェント) を選択し、次に [Create new new] (エージェントを作成) を選択します。

3. Hypervisor の場合は、[VMware ESXi] を選択し、[イメージをダウンロード].zip を選択してエージェントを含むファイルをダウンロードします。

4. ターミナルを開きます。次のコマンドを実行して、イメージをアンジップします。

   unzip AWS-DataSync-Agent-VMWare.zip

5. aws-datasync以下のコマンドを実行して、.ovaから始まるエージェントのファイルの内容を抽出します。

   tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

6. 次の Google Cloud CLI コマンドを実行して、.vmdkエージェントのファイルを Google Cloud にインポートします。

   gcloud compute images import aws-datasync-2-test \
      --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
      --os centos-7

   注記

   .vmdkファイルのインポートには最長で 2 時間かかることがあります。

7. インポートしたエージェントイメージの VM インスタンスを作成して起動します。

   インスタンスには、エージェント用に次の設定が必要です。(インスタンスの作成方法の詳細については、Google Cloud Compute Engine のドキュメントをご覧ください)。

   • マシンタイプで、以下のいずれかを選択します。

     • e2-standard-8 DataSync 2,000万個以下のファイルを転送するタスクの場合。

     • e2-standard-16 DataSync 2,000万個を超えるファイルを転送するタスクの場合。

   • ブートディスクの設定については、カスタムイメージセクションにアクセスしてください。次に、 DataSync インポートしたエージェントイメージを選択します。

   • サービスアカウントの設定には、Googleサービスアカウント（手順1で使用したのと同じアカウント）を選択します。

   • ファイアウォールの設定では、HTTP (ポート 80) トラフィックを許可するオプションを選択します。

     DataSync エージェントをアクティブ化するには、エージェントでポート 80 が開いている必要があります。ポートはパブリックにアクセス可能である必要はありません。アクティブ化すると、 DataSync ポートを閉じます。

8. VM インスタンスが実行されたら、パブリック IP アドレスを書き留めます。

   エージェントをアクティブにするにはこの IP アドレスが必要です。

9. DataSync コンソールに戻ります。エージェントイメージをダウンロードした [エージェントの作成] 画面で、次の操作を行ってエージェントをアクティブ化します。

   • エンドポイントタイプには、公共サービスエンドポイントオプションを選択します (たとえば、米国東オハイオ州の公共サービスエンドポイント)。

   • [アクティベーションキー] で、[エージェントからアクティベーションキーを自動的に取得] を選択します。

   • [Agent address] で、作成したエージェント VM インスタンスのパブリック IP アドレスを入力します。

   • [キーを取得] を選択します。

10. エージェントに名前を付けて、[エージェントを作成] を選択します。

エージェントはオンラインで、データを移動する準備ができています。

VPC の場合

このシナリオでは、エージェントはに関連付けられている VPC の Amazon EC2 インスタンスとして実行されますAWS アカウント。

始める前に:AWS Command Line Interface(AWS CLI) をセットアップします。

VPC のエージェントを作成するには

1. ターミナルを開きます。S3AWS CLI バケットに関連付けられているアカウントを使用するようにプロファイルを設定してください。

2. 次のコマンドをコピーします。VPCAWS リージョン が存在する場所 (たとえば、us-east-1)vpc-region に置き換えます。

   aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

3. コマンドを実行します。"Value"出力内のプロパティをメモします。

   この値は、指定したリージョンの DataSync Amazon マシンイメージ (AMI) の ID です。たとえば、AMI ID は次のようになりますami-1234567890abcdef0。

4. 次の URL をコピーします。ここでも、お使いの VPCvpc-regionAWS リージョン が置かれている場所に置き換えてください。次に、ami-id前のステップで記録した AMI ID に置き換えます。

   https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

5. ブラウザに URL を貼り付けます。

   Amazon EC2AWS Management Console インスタンスの起動ページが表示されます。

6. [インスタンスタイプ] で、 DataSync エージェントに推奨される Amazon EC2 インスタンスのいずれかを選択します。

7. [key pair] で、既存のキーペアを使用するか、新しいキーペアを作成するかを選択します。

8. [Network settings] で、エージェントをデプロイする VPC とサブネットを選択します。

9. Launch instance (インスタンスの起動) を選択します。

10. Amazon EC2 インスタンスが実行されたら、VPC エンドポイントを選択します。

11. エージェントを有効化します。

ステップ 4: Google Cloud Storage DataSync バケットのソースロケーションを作成する

Google Cloud Storage DataSync バケットのロケーションを設定するには、ステップ 1 で作成した HMAC キーのアクセス ID とシークレットが必要です。

DataSync ソースロケーションを作成するには

1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

2. 左側のナビゲーションペインで [ロケーション] を選択し、[ロケーションの作成] を選択します。

3. ロケーションタイプで、オブジェクトストレージを選択します。

4. エージェントについては、ステップ 3 で作成したエージェントを選択します。

5. [サーバ] に、と入力しますstorage.googleapis.com。

6. [バケット名] で、Google Cloud Storage バケットの名前を入力します。

7. [Additional settings] (追加の設定) を展開します。[サーバープロトコル] で [HTTPS] を選択します。[サーバーポート] に [443] を選択します。

8. [認証] セクションまで下にスクロールします。[認証情報が必要] チェックボックスがオンになっていることを確認し、次の操作を行います。

   • [アクセスキー] に、HMAC キーのアクセス ID を入力します。

   • [シークレットキー] に、HMAC キーのシークレットを入力します。

9. [ロケーションを作成] を選択します。

ステップ 5: S3 DataSync バケットの宛先ロケーションを作成する

DataSync データの保存先となる場所が必要です。

DataSync デスティネーションロケーションを作成するには

1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

2. 左側のナビゲーションペインで [ロケーション] を選択し、[ロケーションの作成] を選択します。

3. S3 DataSync バケットの場所を作成します。

   VPC DataSync にエージェントをデプロイした場合、このチュートリアルでは、S3 バケットが VPCAWS リージョン DataSync とエージェントと同じ場所にあることを前提としています。

ステップ 6: DataSync タスクを作成して開始する

ソースとターゲットのロケーションを設定したら、データの移動を開始できますAWS。

DataSync タスクを作成して開始するには

1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

2. 左のナビゲーションペインで [Task] (タスク) を選択し、次に [Create new Task] (タスクの作成) を選択します。

3. [Configure source location] (ソースロケーションの設定) ページで、次の作業を行います。

   1. [既存の場所を選択] を選択します。

   2. ステップ 4 で作成したソースロケーションを選択し、[次へ] を選択します。

4. [Choose Destination] ページで、次の作業を行います。

   1. [既存の場所を選択] を選択します。

   2. ステップ 5 で作成した宛先の場所を選択し、[次へ] を選択します。

5. [Configure settings] (設定を編集) ページで、次の作業を行います。

   1. [データ転送設定] で [その他の設定] を展開し、[オブジェクトタグをコピー] チェックボックスをオフにします。

      重要

      オブジェクトタグをコピーしようとすると、 DataSync タスクが失敗する可能性があります。詳細については、「Google Cloud Storage バケットへ、またはバケットから移行する場合の考慮事項」を参照してください。

   2. その他の必要なタスク設定を構成し、[次へ] を選択します。

6. 確認ページで設定を確認し、[タスクの作成] を選択します。

7. タスクの詳細ページで、[Start] (開始) を選択し、次のいずれかを選択します。

   • タスクを変更せずに実行するには、[既定値から開始] を選択します。

   • タスクを実行する前に変更するには、「優先オプションを指定して開始」を選択します。

タスクが完了すると、Google Cloud Storage バケットのオブジェクトが S3 バケットに表示されます。