翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
AWS DataSync の仕組み
このセクションでは、DataSync のコンポーネント、用語、および仕組みについて説明します。
AWS DataSync 建築
アーキテクチャ図は、その方法を示しています。 DataSync オンプレミス (自己管理) ストレージシステム間で、データを転送します。AWSストレージサービス、およびクラウド内ストレージシステムとAWSストレージサービス。
すべてのリストについては DataSync サポートされている送信元エンドポイントと送信先エンドポイントは、を参照してください。場所の使用。
自己管理ストレージと AWS間のデータ転送
次の図は、 DataSync 自己管理ストレージとの間でファイルを転送するためのアーキテクチャAWS のサービス。
AWS ストレージサービス間のデータ転送
次の図は、 DataSync 間でファイルを転送するためのアーキテクチャAWS のサービス同じ範囲内AWS アカウント。このアーキテクチャは、リージョン内転送とクロスリージョン転送の両方に適用されます。
これらの種類の転送では、トラフィックはAWSネットワークであり、パブリックインターネットを経由しません。
使用する場合 DataSync ファイルまたはオブジェクトをコピーするにはAWS リージョンでは、リージョン間のデータ転送に対して料金が発生します。これは、送信元リージョンから送信先リージョンへのデータ転送出力として請求されます。詳細については、「データ転送料金表
リージョンにデプロイされたエージェントを使用したデータ転送
ではを使用できます。 DataSync 間でデータを転送するにはAWS のサービス異なっているAWS アカウントまたは、の自己管理ファイルシステム間AWSと Amazon S3. そのために、Amazon EC2 インスタンスとしての DataSync エージェントでAWS リージョン。詳細については、「のデプロイ DataSync のエージェントAWS リージョン」を参照してください。
コンポーネントと用語
のコンポーネント DataSync には以下が含まれます。
-
Agent: 自己管理ロケーションからデータを読み取ったり、そこからデータを書き込むために使用される仮想マシン (VM)。同じ AWS アカウントの AWS ストレージサービスの間で転送する場合は、エージェントは不要です。
-
ロケーション: データ転送に含まれる任意の送信元または送信先の場所。これには Amazon S3、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustree、Amazon FSx for OpenZFS、Amazon FSx for OpenZFS、ネットワークファイルシステム (NFS)、サーバーメッセージブロック (SMB)、Hadoop Distributed File System (HDFS)、または自己管理オブジェクトストレージが含まれます。
-
タスク: ソースのロケーションと送信先のロケーションと、データの転送方法を定義する設定です。タスクは常に送信元から送信先にデータを転送します。設定には、タスクスケジュール、帯域幅制限などのオプションを含めることができます。タスクはデータ転送の完全な定義です。
-
タスクの実行: 個別のタスク実行。これには、開始時間、終了時間、書き込まれたバイト、ステータスなどの情報が含まれます。
エージェント
エージェント とは、自己管理ストレージシステムからデータを読み取りまたは書き込みするために使用されるユーザーが所有する VM のことです。エージェントは VMware ESXi、Linux カーネルベースの仮想マシン (KVM)、Microsoft Hyper-V ハイパーバイザーにデプロイすることも、Amazon EC2 インスタンスとして起動することもできます。AWS DataSync コンソールまたは API を使用して、エージェントの設定とアクティベーションを行います。アクティベーションプロセスは、AWS アカウントを使用したエージェント VM と関連しています。エージェントについては、「エージェントの使用」を参照してください。
正常に機能しているエージェントには [ONLINE (オンライン)] ステータスがあります。AWS と通信ができないエージェントは、[OFFLINE (オフライン)] ステータスに移行します。この移行は、ネットワークパーティション、ファイアウォールの誤設定、およびエージェント VM が AWS に接続できなくなるその他のイベントによる問題で修了することがあります。電源オフになっているエージェントのステータスも [OFFLINE (オフライン)] と表示されます。
Location
あるロケーションは、データをコピーする場所です。各タスクには、送信元と送信先のロケーションという 2 つのロケーションがあります。DataSync は、次の場所のタイプをサポートしています。
-
ネットワークファイルシステム (NFS)
-
サーバーメッセージブロック (SMB)
-
Hadoop Distributed File System（HDFS）
-
オンプレミス (自己管理) オブジェクトストレージ
-
Amazon EFS
-
Amazon FSx for Windows File Server
-
Amazon FSx for Lustre
-
Amazon FSx for OpenZFS
-
Simple Storage Service (Amazon S3)
詳細については、「場所の使用」を参照してください。
Task
ある仕事について説明します。 DataSync 転送。これは、ソースとコピー先の場所と、それらの場所間でデータをコピーする方法の詳細を識別します。タスクがメタデータ、削除されたファイル、およびアクセス許可をどのように扱うかを指定することもできます。
タスクの実行
タスクの実行 は個々のタスク実行であり、開始時間、終了時間、転送されたファイルの数やステータスなどの情報を表示します。
タスク実行には、以下の図に示すように、5 つの移行フェーズと 2 つの終了ステータスがあります。これらのフェーズおよびステータスは次のとおりです。
-
QUEUEING (キューイング)— このフェーズでは、同じエージェントを使用して実行中のタスク実行をキューイングします。
-
LAUNCHING (起動中)— このフェーズの間、タスクの実行は初期化されます。
-
PREPARING (準備中)— このフェーズの間、DataSync はどのファイルを転送する必要があるかを計算します。
-
TRANSFERRING (転送中)— このフェーズでは、DataSync は AWSにデータを転送します。
-
確認しています— このオプションのフェーズでは、 DataSync は、完全なデータとメタデータの整合性の検証を実行します。このフェーズは、設定時に
VerifyModeオプションを有効にした場合にのみ発生します。 -
成功またはエラー— タスクが終了すると、 DataSync は、タスクが成功したかどうかに応じて、タスクを以下のいずれかの終了ステータスに設定します。
タスク設定で VerifyMode オプションを有効にしていない場合は、TRANSFERRING (転送) フェーズの後に終了ステータスが設定されます。それ以外の場合は、[VERIFYING (検証中)] フェーズの後に設定されます。2 つの終了ステータスは次のとおりです。
-
SUCCESS
-
ERROR
詳細については、「タスク実行ステータス」を参照してください。
その方法は DataSync ファイルを転送します。
タスクを開始すると、タスクはさまざまなフェーズで実行されます。打ち上げ,準備,転送する, および確認しています。左打ち上げ段階、 DataSync はタスク実行を初期化します。左準備段階、 DataSync は、ソースおよび同期先ファイルシステムを調べて、どのファイルを同期するか決定します。これは、ソースファイルシステムと送信先ファイルシステム上のファイルのコンテンツとメタデータを再帰的にスキャンして相違点を探すものです。
その時 DataSync で過ごす準備フェーズでは、ソースと同期先両方のファイルシステムにあるファイルの数によって異なります。また、これらのファイルシステムのパフォーマンスによっても異なります。-準備したがって、フェーズには数分から数時間かかることがあります。詳細については、「を起動する DataSync 仕事」を参照してください。
スキャンが完了し、相違が計算されると、 DataSync に移行します。転送する段階。この時点で、 DataSync は、ソースファイルシステムから送信先へファイルとメタデータの転送を開始します。 DataSync ソースと送信先で異なるコンテンツまたはメタデータを含むファイルに変更をコピーします。コピーしたファイルは、次の方法で絞り込むことができます。データのフィルタリングまたは、構成して DataSync に宛先にすでに存在するファイルは上書きしない。
デフォルトでは、ソースストレージのメタデータを変更すると、このメタデータは送信先ストレージにコピーされます。
の後に転送するフェーズが完了し、 DataSync は、ソースと同期先ファイルシステム間の整合性を検証します。これが [VERIFYING (検証中)] フェーズです。
メトリック DataSync はデータを転送します。転送中必ずデータ整合性チェックを実行します。追加の検証を有効にして、転送の終了時に送信元と送信先を比較できます。この追加のチェックでは、データセット全体、またはタスク実行の一部として転送されたファイルのみを検証できます。ほとんどのユースケースでは、転送されたファイルのみを検証することをお勧めします。
その方法はAWS DataSync データの整合性を検証します。
AWS DataSync は、送信元のファイルシステムと送信先にあるすべてのファイルのチェックサムをローカルで計算し、これらを比較します。さらに、 DataSync は、ソースと送信先にあるすべてのファイルのメタデータを比較します。いずれかに相違がある場合には、検証は失敗し、何が失敗したかを明確に指定するエラーコードを示します。たとえば、次のようなエラーコードが表示されることがあります。Checksum
failure,Metadata failure,Files were added,Files were removedなどといった具合です。
詳しくは、タスク設定の設定 セクションで DataSync タスク作成ステータス および 有効化検証 をご覧ください。
その方法は DataSync 開いているファイルとロックファイルを処理します。
一般的に、 DataSync は制限が一切ないオープンファイルを転送できます。
ファイルが開いていて、転送中に書き込まれている場合、DataSync により VERIFYING (検証中) フェーズでデータの不整合が検出されます。このフェーズは次のときです。 DataSync は、ソース上のファイルが送信先のファイルと異なっているかどうかを検出します。
ファイルがロックされていて、サーバーが禁止されている場合 DataSync 開くと DataSync はその転送をスキップします。 DataSync 中にエラーをログに記録します。転送するフェーズを実行し、検証エラーを送信します。
