AWS DataSync の仕組み - AWS DataSync

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS DataSync の仕組み

このセクションでは、コンポーネント、用語、DataSync の仕組みについて説明します。

AWS DataSync アーキテクチャ

アーキテクチャの図では、DataSync の自己管理ストレージシステムと AWS ストレージサービス間、またクラウド内ストレージシステムと AWS ストレージサービス間で DataSync がどのようにデータを転送するかを示しています。

DataSync でサポートされているすべての送信元エンドポイントと送信先エンドポイントのリストについては、場所の使用

自己管理型ストレージと AWS 間のデータ転送

次の図は、自己管理ストレージと AWS のサービス間でファイルを転送する DataSync アーキテクチャの概要を示しています。

AWS ストレージサービス間のデータ転送

以下の図では、同じアカウント内の AWS サービス間でファイルを転送する DataSync アーキテクチャの概要を示しています。このアーキテクチャは、リージョン内転送とリージョン間転送の両方に適用されます。

重要

DataSync を使用して AWS リージョン間でファイルまたはオブジェクトをコピーする場合、リージョン間のデータ転送料金が発生します。これは、移行元のリージョンから移行先のリージョンへのデータ転送 OUT として請求されます。詳細については、「」を参照してください。データ転送の価格

リージョンにデプロイされた DataSync EC2 エージェントを使用したデータ転送

DataSync を使用して、AWS リージョンに DataSync EC2 エージェントをデプロイすることで、異なるアカウントの AWS サービス間、または AWS と Amazon S3 の自己管理型ファイルシステム間でデータを転送できます。詳細については、「AWS リージョンにデプロイされた DataSync EC2 エージェントの使用」を参照してください。

コンポーネントと用語

DataSync のコンポーネントには次が含まれています。

  • エージェント — 自己管理場所との間でデータを読み取るあるいはこの場所にデータを書き込むために使用される仮想マシン (VM)。同じアカウント内の AWS ストレージサービス間で転送する場合、エージェントは必要ありません。

  • 場所 — データ転送で使用される任意の送信元または送信先の場所(Amazon S3、Amazon EFS、Windows ファイルサーバー用 Amazon FSX、NFS、SMB、自己管理オブジェクトストレージなど)。

  • タスク — ソースロケーションとターゲットロケーション、およびデータの転送方法を定義する構成で構成されます。タスクは常に送信元のデータを送信先に転送します。構成には、タスクスケジュール、帯域幅制限などのオプションを含めることができます。タスクはデータ転送の完全な定義です。

  • タスクの実行 — 個々のタスクの実行。これには、開始時間、終了時間、書き込まれたバイト、ステータスなどの情報が含まれます。

Agent

アンエージェントは、所有している VM で、自己管理ストレージシステムからデータを読み書きするために使用されます。エージェントは、VMware ESXi、KVM、Microsoft Hyper-V ハイパーバイザーにデプロイすることも、Amazon EC2 インスタンスとして起動することもできます。AWS DataSync マネジメントコンソールまたは API を使用して、エージェントをセットアップしてアクティブ化します。アクティブ化を行うと、エージェント VM が AWS アカウントに関連付けられます。エージェントについては、「エージェントの使用」を参照してください。

正常に機能しているエージェントには [ONLINE (オンライン)] ステータスがあります。AWS と通信ができないエージェントは、[OFFLINE (オフライン)] ステータスに移行します。この移行は、ネットワークパーティション、ファイアウォールの誤設定、およびエージェント VM が AWS に接続できなくなるその他のイベントによる問題で修了することがあります。電源オフになっているエージェントのステータスも [OFFLINE (オフライン)] と表示されます。

Location

場所は、タスクのエンドポイントです。各タスクには、ソースロケーションとターゲットロケーションの 2 つのロケーションがあります。AWS DataSync は、場所タイプとして Network File System (NFS)、サーバーメッセージブロック (SMB)、および場所タイプとして Amazon EFS、および Amazon S3 をサポートしています。詳細については、「場所の使用」を参照してください。

Task

タスクには 2 つの場所 (送信元と送信先)、および 1 つの場所から別の場所へデータを転送する方法の設定が含まれています。設定の構成には、メタデータの処理方法、ファイルの削除やアクセス許可などのオプションが含まれています。タスクはデータ転送の完全な定義です。

タスクの実行

タスクの実行 は個々のタスク実行であり、開始時間、終了時間、転送されたファイルの数やステータスなどの情報を表示します。

タスク実行には、以下の図に示すように、5 つの移行フェーズと 2 つの終了ステータスがあります。

VerifyMode オプションが有効化されていない場合、終了ステータスは [TRANSFERRING (転送中)] フェーズの後に生じます。それ以外の場合は、[VERIFYING (検証中)] フェーズの後に生じます。2 つの終了ステータスは次のとおりです。

  • SUCCESS

  • ERROR

上記のフェーズとステータスの詳細については、「タスク実行ステータスを理解します」を参照してください。

DataSync がファイルを転送する方法

タスクを開始すると、異なるステータスになります。を起動するPARE転送中, およびVERIFYING。左を起動するステータスでは、DataSync はタスク実行を初期化します。左PAREステータスでは、DataSync はソースと同期先ファイルシステムを調べて、どのファイルを同期するか決定します。これは、ソースと同期先ファイルシステムにあるファイルのコンテンツとメタデータを再帰的にスキャンして相違点を探すことで行われます。

DataSync が費やしている時間は、PAREステータスは、ソースと同期先両方のファイルシステムにあるファイルの数によって異なります。また、これらのファイルシステムのパフォーマンスによっても異なり、通常は数分から数時間かかります。詳細については、「タスクの開始」を参照してください。

スキャンが完了し、相違が計算されると、DataSync は転送中ステータスがである。この時点で、DataSync は、送信元のファイルシステムから送信先へファイルとメタデータの転送を開始します。DataSync は、コピー元とコピー先の間で異なる内容またはメタデータを含むファイルへの変更をコピーします。コピーしたファイルを絞り込むには、データのフィルタリングを使用するか、DataSyncをコピー先に既に存在するファイルを上書きしない

注記

デフォルトでは、ソース・ストレージのメタデータを変更すると、このメタデータはターゲット・ストレージにコピーされます。

後に転送中フェーズが完了すると、DataSync はソースと同期先ファイルシステム間の整合性を検証します。これが [VERIFYING (検証中)] フェーズです。

DataSync はデータを転送するときに、転送中必ずデータ整合性チェックを実行します。追加の検証を有効にして、転送の終了時に送信元と送信先を比較できます。この追加チェックでは、データセット全体を確認することも、タスク実行の一部として転送されたファイルだけを確認することもできます。大部分のユースケースでは、転送されたファイルのみを検証することをお勧めします。

AWS DataSync によるデータの整合性の検証方法

AWS DataSync は、ソースファイルシステムおよび送信先にあるすべてのファイルのチェックサムをローカルで計算し、これらを比較します。さらに、DataSync は、送信元のファイルと送信先にあるすべてのファイルのメタデータを比較します。いずれかに相違がある場合には、検証は失敗し、何が失敗したかを明確に指定するエラーコードを示します。例については、エラーコードを参照してください (Checksum failureMetadata failureFiles were addedFiles were removed など)。

詳細については、「」を参照してください。タスク作成ステータスを理解しますおよび検証を有効にする()タスク設定の構成セクションに追加します。

DataSyncが開いているファイルとロックされているファイルを処理する方法

一般的に、DataSync は制限が一切ないオープンファイルを転送できます。

ファイルが開いていて、転送中に書き込まれている場合、DataSync はVERIFYINGフェーズ。つまり、DataSync は、送信元のファイルが送信先のファイルと異なるかどうかを検出します。

ファイルがロックされていて、サーバーによって DataSync がこのファイルを開くことを禁止されている場合、DataSync はそのファイルの転送をスキップします。DataSync は、転送中フェーズに入力し、検証エラーを送信します。