2023 年 12 月 7 日より、バージョン 1 DataSync のエージェントは廃止されます。 DataSync コンソールの [エージェント] ページをチェックして、影響を受けるエージェントがいないか確認してください。その場合は、データ転送やストレージ検出の中断を避けるため、その前にそれらのエージェントを交換してください。さらにサポートが必要な場合は、お問い合わせくださいAWS Support
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Google AWS DataSync クラウドストレージでの転送の設定
次のチュートリアルでは、AWS DataSyncを使用して Google Cloud Storage バケットから Amazon S3 バケットにオブジェクトを移行する方法を示しています。
概要
は Google クラウドストレージ XML API DataSync
コスト
この移行には以下の料金が含まれます。
-
Google Compute Engine
仮想マシン (VM) インスタンスの実行 (Google DataSync クラウドにエージェントをデプロイする場合) -
Amazon EC2
インスタンスの実行 (内の AWS VPC DataSync にエージェントをデプロイする場合) -
DataSync
を使用してデータを転送する(Google Cloud Storage と Amazon S3 に関連するリクエスト料金を含む)(S3 が転送先の場合) -
Amazon S3
にデータを保存する
前提条件
開始する前に、まだ行っていない場合は以下を実行してください。
-
転送先のオブジェクトを含む Google Cloud Storage バケットを作成します
AWS。
Google クラウドストレージバケット用の HMAC キーを作成する。
DataSync Google サービスアカウントに関連付けられている HMAC キーを使用して、データの転送元となるバケットを認証して読み取ります。(HMAC キーの作成方法の詳細については、Google Cloud Storage
HMAC キーを作成するには
-
Google サービスアカウント用の HMAC キーを作成します。
-
Google
Storage Object Viewer
サービスアカウントに少なくとも権限があることを確認してください。 -
HMAC キーのアクセス ID とシークレットは安全な場所に保存してください。
これらの項目は、 DataSync 後でソースロケーションを設定する際に必要になります。
ステップ 2: ネットワークを設定する
この移行のネットワーク要件は、 DataSync エージェントをどのようにデプロイするかによって異なります。
Google Cloud DataSync でエージェントをホストする場合は、 DataSync パブリックエンドポイント経由の転送を許可するようにネットワークを設定します。
でエージェントをホストする場合はAWS、インターフェイスエンドポイントを備えた VPC が必要です。 DataSync VPC エンドポイントを使用して転送を容易にします。
VPC エンドポイント用にネットワークを設定するには
-
VPC がない場合は、S3 AWS リージョン バケットと同じ VPC を作成してください。
-
VPC DataSync エンドポイント経由の転送を許可するようにネットワークを設定します。
必要な設定変更を行うには、VPC エンドポイントに関連付けられているセキュリティグループを変更します。詳細については、「Amazon VPC ユーザーガイド」の「セキュリティグループを使用してリソースへのトラフィックを制御する」を参照してください。
ステップ 3: エージェントを作成する DataSync
Google Cloud Storage DataSync バケットにアクセスして読み取ることができるエージェントが必要です。
このシナリオでは、 DataSync エージェントは Google Cloud 環境で実行されます。
始める前に:Google クラウド CLI をインストールしてください
Google Cloud 用のエージェントを作成するには
-
https://console.aws.amazon.com/datasync/ AWS DataSync
でコンソールを開きます。 -
左のナビゲーションペインで [エージェント] を選択し、[エージェントの作成] を選択します。
-
Hypervisor の場合は、[VMware ESXi] を選択し、[イメージのダウンロード] を選択して、
.zip
エージェントを含むファイルをダウンロードします。 -
ターミナルを開きます。次のコマンドを実行してイメージを解凍します。
unzip AWS-DataSync-Agent-VMWare.zip
-
以下のコマンドを実行して、
.ova
aws-datasync
で始まるエージェントファイルの内容を抽出します。tar -xvf aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt.ova
-
次の Google クラウド CLI コマンドを実行して、
.vmdk
エージェントのファイルを Google クラウドにインポートします。gcloud compute images import aws-datasync-2-test \ --source-file INCOMPLETE-aws-datasync-2.0.1655755445.1-x86_64.xfs.gpt-disk1.vmdk \ --os centos-7
注記
.vmdk
ファイルのインポートには最大 2 時間かかることがあります。 -
インポートしたエージェントイメージの VM インスタンスを作成して起動します。
インスタンスにはエージェント用の以下の設定が必要です。(インスタンスを作成する方法の詳細については、Google Cloud Compute Engine のドキュメントを参照してください
)。 -
マシンタイプには、次のいずれかを選択します。
-
e2-standard-8 — 最大 2,000 DataSync 万個のファイルを転送するタスク用。
-
e2-standard-16 — 2,000 DataSync 万を超えるファイルを転送するタスク用。
-
-
ブートディスクの設定については、カスタムイメージセクションを参照してください。次に、 DataSync インポートしたエージェントイメージを選択します。
-
サービスアカウントの設定には、Google サービスアカウント(ステップ 1 で使用したのと同じアカウント)を選択します。
-
ファイアウォール設定では、HTTP (ポート 80) トラフィックを許可するオプションを選択します。
エージェントを有効にするには、 DataSync エージェントのポート 80 が開いている必要があります。ポートはパブリックにアクセス可能である必要はありません。有効になったら、 DataSync ポートを閉じます。
-
-
VM インスタンスが実行されたら、パブリック IP アドレスを書き留めておきます。
この IP アドレスはエージェントをアクティベートするために必要です。
-
DataSync コンソールに戻ってください。エージェントイメージをダウンロードした Create agent 画面で、次の操作を行ってエージェントをアクティベートします。
-
エンドポイントタイプには、パブリックサービスエンドポイントのオプション (たとえば、米国東オハイオ州のパブリックサービスエンドポイント) を選択します。
-
[アクティベーションキー] には、[エージェントからアクティベーションキーを自動的に取得] を選択します。
-
[エージェントアドレス] には、作成したエージェント VM インスタンスのパブリック IP アドレスを入力します。
-
[キーを取得] を選択します。
-
-
エージェントに名前を付けて、[エージェントを作成] を選択します。
エージェントはオンラインで、データを移動する準備ができています。
このシナリオでは、エージェントは、に関連付けられた VPC 内の Amazon EC2 インスタンスとして実行されます。AWS アカウント
始める前に:AWS Command Line Interface(AWS CLI) を設定します。
VPC のエージェントを作成するには
-
ターミナルを開きます。S3 AWS CLI バケットに関連付けられているアカウントを使用するようにプロファイルを設定してください。
-
次のコマンドをコピーします。VPC AWS リージョン が存在する場所 (例:)
に置き換えてください。vpc-region
us-east-1
aws ssm get-parameter --name /aws/service/datasync/ami --region
vpc-region
-
コマンドを実行します。出力のプロパティを書き留めてください。
"Value"
この値は、指定したリージョンの DataSync Amazon マシンイメージ (AMI) ID です。たとえば、AMI ID は次のようになります
ami-1234567890abcdef0
。 -
次の URL をコピーします。再度、VPC
AWS リージョン が存在する場所に置き換えてください。次に、vpc-region
前のステップで書き留めた AMI ID に置き換えます。ami-id
https://console.aws.amazon.com/ec2/v2/home?region=
vpc-region
#LaunchInstanceWizard:ami=ami-id
-
ブラウザに URL を貼り付けます。
Amazon EC2 AWS Management Console インスタンスの起動ページが表示されます。
-
インスタンスタイプでは、 DataSync エージェントに推奨される Amazon EC2 インスタンスのいずれかを選択します。
-
key pair では、既存のキーペアを選択するか、新しいキーペアを作成します。
-
[ネットワーク設定] では、エージェントをデプロイする VPC とサブネットを選択します。
-
Launch instance (インスタンスの起動) を選択します。
-
Amazon EC2 インスタンスが実行されたら、VPC エンドポイントを選択します。
ステップ 4: Google DataSync クラウドストレージバケットのソースロケーションを作成する
Google Cloud Storage DataSync バケットのロケーションを設定するには、ステップ 1 で作成した HMAC キーのアクセス ID とシークレットが必要です。
DataSync ソースロケーションを作成するには
https://console.aws.amazon.com/datasync/ AWS DataSync
でコンソールを開きます。 左側のナビゲーションペインで [データ転送] を展開し、[ロケーション] と [ロケーションの作成] を選択します。
-
ロケーションタイプで、オブジェクトストレージを選択します。
-
[エージェント] では、ステップ 3 で作成したエージェントを選択します。
-
[サーバ] には、と入力します
storage.googleapis.com
。 -
[バケット名] には、Google Cloud Storage バケットの名前を入力します。
-
[追加の設定] を展開します。[サーバープロトコル] には [HTTPS] を選択します。[サーバーポート] には [443] を選択します。
-
「認証」セクションまでスクロールします。[認証情報を必要とする] チェックボックスがオンになっていることを確認し、次の操作を行います。
-
[アクセスキー] には、HMAC キーのアクセス ID を入力します。
-
[シークレットキー] には、HMAC キーのシークレットを入力します。
-
-
[ロケーションを作成] を選択します。
ステップ 5: S3 DataSync バケットの送信先を作成する
DataSync データを保存したい場所が必要です。
DataSync 保存先を作成するには
https://console.aws.amazon.com/datasync/ AWS DataSync
でコンソールを開きます。 左側のナビゲーションペインで [データ転送] を展開し、[ロケーション] と [ロケーションの作成] を選択します。
-
VPC DataSync にエージェントをデプロイした場合、このチュートリアルでは S3 バケットが VPC AWS リージョン およびエージェントと同じであることを前提としています。 DataSync
ステップ 6: タスクを作成して開始する DataSync
ソースとターゲットの場所を設定したら、データの移動を開始できますAWS。
DataSync タスクを作成して開始するには
https://console.aws.amazon.com/datasync/ AWS DataSync
でコンソールを開きます。 左のナビゲーションペインで [データ転送] を展開し、[タスク]、[タスクの作成] の順に選択します。
-
[ソースロケーションの設定] ページで、次の操作を行います。
[既存の場所を選択] を選択します。
-
ステップ 4 で作成したソースロケーションを選択し、[Next] を選択します。
-
「宛先ロケーションの設定」ページで、次の操作を行います。
[既存の場所を選択] を選択します。
-
ステップ 5 で作成した保存先を選択し、[次へ] を選択します。
-
[設定の構成] ページで、次の操作を行います。
[データ転送設定] で [その他の設定] を展開し、[オブジェクトタグをコピー] チェックボックスをオフにします。
重要
は Amazon S3 API を使用して Google Cloud Storage DataSync と通信するため、 DataSync オブジェクトタグをコピーしようとするとタスクが失敗する可能性があるという制限があります。
-
必要なその他のタスク設定を行い、[Next] を選択します。
-
[確認] ページで設定を確認し、[タスクを作成] を選択します。
-
タスクの詳細ページで [開始] を選択し、次のいずれかを選択します。
-
変更せずにタスクを実行するには、[既定で開始] を選択します。
-
実行前にタスクを変更するには、[優先オプションで開始] を選択します。
-
タスクが完了すると、Google Cloud Storage バケットのオブジェクトが S3 バケットに表示されます。