チュートリアル: Google クラウドストレージから Amazon S3 へのデータの転送 - AWS DataSync

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

チュートリアル: Google クラウドストレージから Amazon S3 へのデータの転送

次のチュートリアルでは、AWS DataSyncを使用して Google Cloud Storage バケットから Amazon S3 バケットにオブジェクトを移行する方法を示します。

概要

Google クラウドストレージ XML API DataSync と統合されているため、コードを記述せずにオブジェクトを Amazon S3 にコピーできます。これがどのように機能するかは、 DataSync 転送を容易にするエージェントをどこにデプロイするかによって異なります。

Agent in Google Cloud
  1. Google Cloud DataSync 環境にエージェントをデプロイします。

  2. エージェントは、ハッシュベースのメッセージ認証コード(HMAC)キーを使用して Google Cloud Storage バケットを読み取ります。

  3. Google Cloud Storage バケットのオブジェクトは、パブリックエンドポイントを使用して TLS 1.2 を介してに安全に移動します。AWS クラウド

  4. DataSync サービスによって S3 バケットにデータが書き込まれます。

次の図に、転送を示します。


                             DataSync 転送例は、オブジェクトデータが Google Cloud Storage バケットから S3 バケットにどのように移動するかを示しています。まず、 DataSync エージェントは Google Cloud 環境にデプロイされます。次に、 DataSync エージェントは Google クラウドストレージバケットを読み取ります。データはパブリックエンドポイントを経由して安全に転送されAWS、AWS リージョン使用している同じ場所の S3 DataSync  DataSync バケットにオブジェクトが書き込まれます。
Agent in your VPC
  1. DataSync AWSエージェントは環境内の仮想プライベートクラウド (VPC) にデプロイします。

  2. エージェントは、ハッシュベースのメッセージ認証コード(HMAC)キーを使用して Google Cloud Storage バケットを読み取ります。

  3. Google Cloud Storage バケットのオブジェクトは、プライベート VPC エンドポイントを使用して TLS 1.2 を介してに安全に移動します。AWS クラウド

  4. DataSync サービスによって S3 バケットにデータが書き込まれます。

次の図に、転送を示します。


                             DataSync 転送例は、オブジェクトデータが Google Cloud Storage バケットから S3 バケットにどのように移動するかを示しています。まず、 DataSync エージェントはの VPCAWS にデプロイされます。次に、 DataSync エージェントは Google クラウドストレージバケットを読み取ります。データは VPC エンドポイントを介してに安全に移動しAWS、VPCAWS リージョン と同じ S3 DataSync  バケットにオブジェクトを書き込みます。

コスト

この移行に関連する料金には以下が含まれます。

前提条件

開始する前に、次の作業を行います。

ステップ 1: Google クラウドストレージバケットの HMAC キーを作成する

DataSync は、Google サービスアカウントに関連付けられている HMAC キーを使用して、データの転送元のバケットを認証して読み取ります。(HMAC キーの作成方法の詳細については、Google クラウドストレージのドキュメントを参照してください)。

HMAC キーを作成するには

  1. Google サービスアカウントの HMAC キーを作成します。

  2. GoogleStorage Object Viewer サービスアカウントに少なくとも権限があることを確認してください。

  3. HMAC キーのアクセス ID とシークレットは安全な場所に保存します。

    これらの項目は、 DataSync 後でソースロケーションを設定する際に必要になります。

ステップ 2: ネットワークを設定する

この移行のネットワーク要件は、 DataSync エージェントのデプロイ方法によって異なります。

Google Cloud DataSync でエージェントをホストする場合は、 DataSync パブリックエンドポイント経由の転送を許可するようにネットワークを設定します

エージェントをホストする場合はAWS、インターフェイスエンドポイントを備えた VPC が必要です。 DataSync VPC エンドポイントを使用して転送を容易にします。

VPC エンドポイント用にネットワークを設定するには

  1. VPC がない場合は、S3AWS リージョン バケットと同じ VPC を作成します

  2. VPC のプライベートサブネットを作成します

  3. を使用して、 DataSync の VPC エンドポイントを作成しますAWS PrivateLink。

  4. VPC DataSync エンドポイント経由の転送を許可するようにネットワークを設定します

    必要な設定変更を行うには、VPC エンドポイントに関連付けられているセキュリティグループを変更します。詳細については、「Amazon VPC ユーザーガイド」の「セキュリティグループを使用してリソースへのトラフィックを制御する」を参照してください。

ステップ 3: DataSyncエージェントを作成

Google Cloud Storage DataSync バケットにアクセスして読み取ることができるエージェントが必要です。

このシナリオでは、 DataSync エージェントは Google Cloud 環境で実行されます。

開始する前に: Google クラウド CLI をインストールします

Google クラウド用のエージェントを作成するには

  1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

  2. 左のナビゲーションペインの [エージェント]、次に [エージェント]、次に [エージェントの作成] を選択します。

  3. Hypervisor では、VMware ESXi を選択し、次にイメージをダウンロードを選択して.zipエージェントを含むファイルをダウンロードします。

  4. ターミナルを開きます。次のコマンドを実行して、イメージをアンジップします。

    unzip AWS-DataSync-Agent-VMWare.zip
  5. aws-datasync次のコマンドを実行して、.ovaエージェントのファイルの内容を抽出します。

    tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova
  6. 次の Google Cloud CLI コマンドを実行して、.vmdkエージェントのファイルを Google クラウドにインポートします。

    gcloud compute images import aws-datasync-2-test \ --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \ --os centos-7
    注記

    .vmdkファイルのインポートには最大 2 時間かかることがあります。

  7. インポートしたエージェントイメージの VM インスタンスを作成して起動します。

    インスタンスには、エージェント用に次の設定が必要です。(インスタンスの作成方法の詳細については、Google Cloud Compute Engine のドキュメントを参照してください)。

    • マシンタイプで、以下のいずれかを選択します。

      • e2-standard-8-最大で 2,000 DataSync 万個以下のファイルを転送するタスクの場合。

      • e2-standard-16 — 2,000 DataSync 万個を超えるファイルを転送するタスクの場合。

    • ブートディスクの設定については、カスタムイメージセクションを参照してください。次に、 DataSync インポートしたエージェントイメージを選択します。

    • サービスアカウントの設定では、Google サービスアカウント(ステップ 1 で使用したものと同じアカウント)を選択します。

    • ファイアウォール設定では、HTTP (ポート 80) トラフィックを許可するオプションを選択します。

      DataSync エージェントをアクティブ化するには、エージェントのポート 80 が開いている必要があります。ポートはパブリックアクセスが可能なように設定する必要はありません。起動したら、 DataSync ポートを閉じます。

  8. VM インスタンスを実行したら、パブリック IP アドレスを書き留めておきます。

    エージェントをアクティブにするにはこの IP アドレスが必要です。

  9. DataSync コンソールに戻ります。エージェントイメージをダウンロードした [エージェントの作成] 画面で、次の手順を実行してエージェントを有効化します。

    • [エンドポイントの種類] で、[パブリックサービスエンドポイント] オプションを選択します (たとえば、米国東オハイオのパブリックサービスエンドポイント)。

    • [アクティベーションキー] で、[エージェントからアクティベーションキーを自動的に取得する] を選択します。

    • [エージェントアドレス] に、作成したエージェント VM インスタンスのパブリック IP アドレスを入力します。

    • [キーを取得] を選択します。

  10. エージェントに名前を付けて、[エージェントを作成] を選択します。

エージェントはオンラインで、データを移動する準備ができています。

このシナリオでは、エージェントはに関連付けられている VPC の Amazon EC2 インスタンスとして実行されますAWS アカウント。

開始する前に: AWS Command Line Interface(AWS CLI) を設定します

VPC のエージェントを作成するには

  1. ターミナルを開きます。必ず S3AWS CLI バケットに関連付けられているアカウントを使用するようにプロファイルを設定してください。

  2. 次のコマンドをコピーします。VPCAWS リージョン が置かれている場所 (などus-east-1)vpc-region に置き換えてください。

    aws ssm get-parameter --name /aws/service/datasync/ami --region vpc-region
  3. コマンドを実行します。"Value"出力内のプロパティをメモしておきます。

    この値は、指定したリージョンの DataSync Amazon Machine Image (AMI) の ID です。たとえば、AMI ID は次のようになりますami-1234567890abcdef0

  4. 次の URL をコピーします。繰り返しますが、VPCvpc-regionAWS リージョン が置かれている場所に置き換えてください。次に、ami-id前のステップで記録した AMI ID に置き換えます。

    https://console.aws.amazon.com/ec2/v2/home?region=vpc-region#LaunchInstanceWizard:ami=ami-id
  5. ブラウザに URL を貼り付けます。

    Amazon EC2AWS Management Console インスタンスの起動ページが表示されます。

  6. インスタンスタイプでは DataSync エージェントに推奨される Amazon EC2 インスタンスのいずれかを選択します

  7. [key pair] で、既存のキーペアを使用するか、新しいキーペアを作成するかを選択します。

  8. [ネットワーク設定] で、エージェントをデプロイする VPC とサブネットを選択します。

  9. Launch instance (インスタンスの起動) を選択します。

  10. Amazon EC2 インスタンスが実行されたら、VPC エンドポイントを選択します

  11. エージェントを有効にします

ステップ 4: Google DataSync クラウドストレージバケットのソースロケーションを作成する

Google Cloud Storage DataSync バケットのロケーションを設定するには、ステップ 1 で作成した HMAC キーのアクセス ID とシークレットが必要です。

DataSync ソースロケーションを作成するには

  1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

  2. 左側のナビゲーションペインで [ロケーション] を選択し、次に [ロケーションの作成] を選択します。

  3. ロケーションタイプで、オブジェクトストレージを選択します。

  4. エージェントについてはステップ 3 で作成したエージェントを選択します。

  5. [サーバ] に、と入力しますstorage.googleapis.com

  6. [バケット名] に、Google Cloud Storage バケットの名前を入力します。

  7. [Additional settings] (追加の設定) を展開します。[サーバープロトコル] で [HTTPS] を選択します。[サーバーポート] で [443] を選択します。

  8. [認証] セクションまで下にスクロールします。[認証情報を要求] チェックボックスが選択されていることを確認し、次の操作を行います。

    • アクセスキーには、HMAC キーのアクセス ID を入力します。

    • [シークレットキー] には、HMAC キーのシークレットを入力します。

  9. [ロケーションを作成] を選択します。

ステップ 5: S3 DataSync バケットの宛先ロケーションを作成する

DataSync データの保存先となる場所が必要です。

DataSync 宛先ロケーションを作成するには

  1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

  2. 左側のナビゲーションペインで [ロケーション] を選択し、次に [ロケーションの作成] を選択します。

  3. S3 DataSync バケットのロケーションを作成します

    VPC DataSync にエージェントをデプロイした場合、このチュートリアルでは S3 バケットが VPCAWS リージョン DataSync およびエージェントと同じであることを前提としています。

ステップ 6: DataSync タスクを作成して開始する

ソースとターゲットの場所を設定したら、データの移動を開始できますAWS。

DataSync タスクを作成して開始するには

  1. https://console.aws.amazon.com/datasync/AWS DataSync でコンソールを開きます。

  2. 左のナビゲーションペインで [Task]、次に [Task] (タスクの作成) を選択します。

  3. [Source Destination] (ソースロケーションの設定) ページで、次の作業を行います。

    1. [既存の場所を選択] を選択します

    2. ステップ 4 で作成したソースの場所を選択し、[次へ] を選択します。

  4. [Choose new Destination] ページで、次の作業を行います。

    1. [既存の場所を選択] を選択します

    2. ステップ 5 で作成した宛先ロケーションを選択し、[Next] を選択します。

  5. [Configure settings] (設定) ページで、次の作業を行います。

    1. [データ転送設定] で [追加設定] を展開し、[オブジェクトタグのコピー] チェックボックスをオフにします。

      重要

      オブジェクトタグをコピーしようとすると、 DataSync タスクが失敗する可能性があります。詳細については、「Google クラウドストレージバケットへ、またはバケットから移行する際の考慮事項」を参照してください。

    2. その他の必要なタスク設定を行い、[次へ] を選択します。

  6. レビューページで設定を確認し、[タスクの作成] を選択します。

  7. タスクの詳細ページで [Start] (開始) を選択し、次のいずれかを選択します。

    • 変更せずにタスクを実行するには、「デフォルトで開始」を選択します。

    • 実行前にタスクを変更するには、「オーバーライドオプションで開始」を選択します。

タスクが完了すると、S3 バケットに Google Cloud Storage バケットのオブジェクトが表示されます。