Google AWS DataSync クラウドストレージでの転送の設定

次のチュートリアルでは、AWS DataSyncを使用して Google Cloud Storage バケットから Amazon S3 バケットにオブジェクトを移行する方法を示しています。

概要

は Google クラウドストレージ XML API DataSync と統合されているため、コードを記述しなくてもオブジェクトを Amazon S3 にコピーできます。この仕組みは、 DataSync 転送を容易にするエージェントをどこにデプロイするかによって異なります。

Agent in Google Cloud

1. Google Cloud DataSync 環境にエージェントをデプロイします。

2. エージェントは、ハッシュベースのメッセージ認証コード (HMAC) キーを使用して Google Cloud Storage バケットを読み取ります。

3. Google Cloud Storage バケットのオブジェクトは、パブリックエンドポイントを使用して TLS 1.3 AWS クラウド 経由でに安全に移動します。

4. DataSync サービスはデータを S3 バケットに書き込みます。

次の図は、転送を示しています。

Agent in your VPC

1. AWS環境内の仮想プライベートクラウド (VPC) DataSync にエージェントをデプロイします。

2. エージェントは、ハッシュベースのメッセージ認証コード (HMAC) キーを使用して Google Cloud Storage バケットを読み取ります。

3. Google Cloud Storage バケットのオブジェクトは、プライベート VPC エンドポイントを使用して TLS 1.3 経由でに安全に移動します。AWS クラウド

4. DataSync サービスはデータを S3 バケットに書き込みます。

次の図は、転送を示しています。

コスト

この移行には以下の料金が含まれます。

• Google Compute Engine 仮想マシン (VM) インスタンスの実行 (Google DataSync クラウドにエージェントをデプロイする場合)

• Amazon EC2 インスタンスの実行 (内の AWS VPC DataSync にエージェントをデプロイする場合)

• DataSyncを使用してデータを転送する（Google Cloud Storage と Amazon S3 に関連するリクエスト料金を含む）（S3 が転送先の場合）

• Google クラウドストレージからのデータ転送

• Amazon S3 にデータを保存する

前提条件

開始する前に、まだ行っていない場合は以下を実行してください。

• 転送先のオブジェクトを含む Google Cloud Storage バケットを作成しますAWS。

• AWS アカウントにサインアップしてください。

• オブジェクトが入った後に保存するための Amazon S3 バケットを作成しますAWS。

Google クラウドストレージバケット用の HMAC キーを作成する。

DataSync Google サービスアカウントに関連付けられている HMAC キーを使用して、データの転送元となるバケットを認証して読み取ります。（HMAC キーの作成方法の詳細については、Google Cloud Storage のドキュメントをご覧ください）。

HMAC キーを作成するには

1. Google サービスアカウント用の HMAC キーを作成します。

2. Google Storage Object Viewer サービスアカウントに少なくとも権限があることを確認してください。

3. HMAC キーのアクセス ID とシークレットは安全な場所に保存してください。

   これらの項目は、 DataSync 後でソースロケーションを設定する際に必要になります。

ステップ 2: ネットワークを設定する

この移行のネットワーク要件は、 DataSync エージェントをどのようにデプロイするかによって異なります。

Google Cloud DataSync のエージェントの場合

Google Cloud DataSync でエージェントをホストする場合は、 DataSync パブリックエンドポイント経由の転送を許可するようにネットワークを設定します。

VPC DataSync のエージェント用

でエージェントをホストする場合はAWS、インターフェイスエンドポイントを備えた VPC が必要です。 DataSync VPC エンドポイントを使用して転送を容易にします。

VPC エンドポイント用にネットワークを設定するには

1. VPC がない場合は、S3 AWS リージョン バケットと同じ VPC を作成してください。

2. VPC のプライベートサブネットを作成します。

3. DataSync AWS PrivateLinkを使用しての VPC エンドポイントを作成します。

4. VPC DataSync エンドポイント経由の転送を許可するようにネットワークを設定します。

   必要な設定変更を行うには、VPC エンドポイントに関連付けられているセキュリティグループを変更します。詳細については、「Amazon VPC ユーザーガイド」の「セキュリティグループを使用してリソースへのトラフィックを制御する」を参照してください。

ステップ 3: エージェントを作成する DataSync

Google Cloud Storage DataSync バケットにアクセスして読み取ることができるエージェントが必要です。

Google クラウドの場合

このシナリオでは、 DataSync エージェントは Google Cloud 環境で実行されます。

始める前に:Google クラウド CLI をインストールしてください。

Google Cloud 用のエージェントを作成するには

1. https://console.aws.amazon.com/datasync/ AWS DataSync でコンソールを開きます。

2. 左のナビゲーションペインで [エージェント] を選択し、[エージェントの作成] を選択します。

3. Hypervisor の場合は、[VMware ESXi] を選択し、[イメージのダウンロード] を選択して、.zipエージェントを含むファイルをダウンロードします。

4. ターミナルを開きます。次のコマンドを実行してイメージを解凍します。

   unzip AWS-DataSync-Agent-VMWare.zip

5. 以下のコマンドを実行して、.ovaaws-datasyncで始まるエージェントファイルの内容を抽出します。

   tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova

6. 次の Google クラウド CLI コマンドを実行して、.vmdkエージェントのファイルを Google クラウドにインポートします。

   gcloud compute images import aws-datasync-2-test \
      --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \
      --os centos-7

   注記

   .vmdkファイルのインポートには最大 2 時間かかることがあります。

7. インポートしたエージェントイメージの VM インスタンスを作成して起動します。

   インスタンスにはエージェント用の以下の設定が必要です。(インスタンスを作成する方法の詳細については、Google Cloud Compute Engine のドキュメントを参照してください)。

   • マシンタイプには、次のいずれかを選択します。

     • e2-standard-8 — 最大 2,000 DataSync 万個のファイルを転送するタスク用。

     • e2-standard-16 — 2,000 DataSync 万を超えるファイルを転送するタスク用。

   • ブートディスクの設定については、カスタムイメージセクションを参照してください。次に、 DataSync インポートしたエージェントイメージを選択します。

   • サービスアカウントの設定には、Google サービスアカウント（ステップ 1 で使用したのと同じアカウント）を選択します。

   • ファイアウォール設定では、HTTP (ポート 80) トラフィックを許可するオプションを選択します。

     エージェントを有効にするには、 DataSync エージェントのポート 80 が開いている必要があります。ポートはパブリックにアクセス可能である必要はありません。有効になったら、 DataSync ポートを閉じます。

8. VM インスタンスが実行されたら、パブリック IP アドレスを書き留めておきます。

   この IP アドレスはエージェントをアクティベートするために必要です。

9. DataSync コンソールに戻ってください。エージェントイメージをダウンロードした Create agent 画面で、次の操作を行ってエージェントをアクティベートします。

   • エンドポイントタイプには、パブリックサービスエンドポイントのオプション (たとえば、米国東オハイオ州のパブリックサービスエンドポイント) を選択します。

   • [アクティベーションキー] には、[エージェントからアクティベーションキーを自動的に取得] を選択します。

   • [エージェントアドレス] には、作成したエージェント VM インスタンスのパブリック IP アドレスを入力します。

   • [キーを取得] を選択します。

10. エージェントに名前を付けて、[エージェントを作成] を選択します。

エージェントはオンラインで、データを移動する準備ができています。

あなたの VPC 用

このシナリオでは、エージェントは、に関連付けられた VPC 内の Amazon EC2 インスタンスとして実行されます。AWS アカウント

始める前に:AWS Command Line Interface(AWS CLI) を設定します。

VPC のエージェントを作成するには

1. ターミナルを開きます。S3 AWS CLI バケットに関連付けられているアカウントを使用するようにプロファイルを設定してください。

2. 次のコマンドをコピーします。VPC AWS リージョン が存在する場所 (例:) vpc-region に置き換えてください。us-east-1

   aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region

3. コマンドを実行します。出力のプロパティを書き留めてください。"Value"

   この値は、指定したリージョンの DataSync Amazon マシンイメージ (AMI) ID です。たとえば、AMI ID は次のようになりますami-1234567890abcdef0。

4. 次の URL をコピーします。再度、VPC vpc-region AWS リージョン が存在する場所に置き換えてください。次に、ami-id前のステップで書き留めた AMI ID に置き換えます。

   https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id

5. ブラウザに URL を貼り付けます。

   Amazon EC2 AWS Management Console インスタンスの起動ページが表示されます。

6. インスタンスタイプでは、 DataSync エージェントに推奨される Amazon EC2 インスタンスのいずれかを選択します。

7. key pair では、既存のキーペアを選択するか、新しいキーペアを作成します。

8. [ネットワーク設定] では、エージェントをデプロイする VPC とサブネットを選択します。

9. Launch instance (インスタンスの起動) を選択します。

10. Amazon EC2 インスタンスが実行されたら、VPC エンドポイントを選択します。

11. エージェントを有効化します。

ステップ 4: Google DataSync クラウドストレージバケットのソースロケーションを作成する

Google Cloud Storage DataSync バケットのロケーションを設定するには、ステップ 1 で作成した HMAC キーのアクセス ID とシークレットが必要です。

DataSync ソースロケーションを作成するには

1. https://console.aws.amazon.com/datasync/ AWS DataSync でコンソールを開きます。

2. 左側のナビゲーションペインで [データ転送] を展開し、[ロケーション] と [ロケーションの作成] を選択します。

3. ロケーションタイプで、オブジェクトストレージを選択します。

4. [エージェント] では、ステップ 3 で作成したエージェントを選択します。

5. [サーバ] には、と入力しますstorage.googleapis.com。

6. [バケット名] には、Google Cloud Storage バケットの名前を入力します。

7. [追加の設定] を展開します。[サーバープロトコル] には [HTTPS] を選択します。[サーバーポート] には [443] を選択します。

8. 「認証」セクションまでスクロールします。[認証情報を必要とする] チェックボックスがオンになっていることを確認し、次の操作を行います。

   • [アクセスキー] には、HMAC キーのアクセス ID を入力します。

   • [シークレットキー] には、HMAC キーのシークレットを入力します。

9. [ロケーションを作成] を選択します。

ステップ 5: S3 DataSync バケットの送信先を作成する

DataSync データを保存したい場所が必要です。

DataSync 保存先を作成するには

1. https://console.aws.amazon.com/datasync/ AWS DataSync でコンソールを開きます。

2. 左側のナビゲーションペインで [データ転送] を展開し、[ロケーション] と [ロケーションの作成] を選択します。

3. S3 DataSync バケットの場所を作成します。

   VPC DataSync にエージェントをデプロイした場合、このチュートリアルでは S3 バケットが VPC AWS リージョン およびエージェントと同じであることを前提としています。 DataSync

ステップ 6: タスクを作成して開始する DataSync

ソースとターゲットの場所を設定したら、データの移動を開始できますAWS。

DataSync タスクを作成して開始するには

1. https://console.aws.amazon.com/datasync/ AWS DataSync でコンソールを開きます。

2. 左のナビゲーションペインで [データ転送] を展開し、[タスク]、[タスクの作成] の順に選択します。

3. [ソースロケーションの設定] ページで、次の操作を行います。

   1. [既存の場所を選択] を選択します。

   2. ステップ 4 で作成したソースロケーションを選択し、[Next] を選択します。

4. 「宛先ロケーションの設定」ページで、次の操作を行います。

   1. [既存の場所を選択] を選択します。

   2. ステップ 5 で作成した保存先を選択し、[次へ] を選択します。

5. [設定の構成] ページで、次の操作を行います。

   1. [データ転送設定] で [その他の設定] を展開し、[オブジェクトタグをコピー] チェックボックスをオフにします。

      重要

      は Amazon S3 API を使用して Google Cloud Storage DataSync と通信するため、 DataSync オブジェクトタグをコピーしようとするとタスクが失敗する可能性があるという制限があります。

   2. 必要なその他のタスク設定を行い、[Next] を選択します。

6. [確認] ページで設定を確認し、[タスクを作成] を選択します。

7. タスクの詳細ページで [開始] を選択し、次のいずれかを選択します。

   • 変更せずにタスクを実行するには、[既定で開始] を選択します。

   • 実行前にタスクを変更するには、[優先オプションで開始] を選択します。

タスクが完了すると、Google Cloud Storage バケットのオブジェクトが S3 バケットに表示されます。