方法AWSDataSync の作品 - AWS DataSync

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

方法AWSDataSync の作品

このセクションでは、コンポーネント、用語、DataSync の動作について説明します。

AWSDataSync アーキテクチャ

アーキテクチャ図は、DataSyncが自己管理型ストレージ・システムとAWSストレージサービス、およびクラウド内ストレージシステムとAWSストレージサービス。

DataSync でサポートされているすべての送信元エンドポイントと送信先エンドポイントのリストについては、場所の使用

自己管理型ストレージとAWS

以下の図では、DataSync アーキテクチャの概要を示しています。これは、自己管理ストレージとAWSのサービス。

間のデータ転送AWSストレージサービス

以下の図では、DataSync アーキテクチャの概要を示しています。AWSサービス内の同じ AWS アカウント 。このアーキテクチャは、リージョン内転送とリージョン間転送の両方に適用されます。

重要

DataSyncを使用してファイルやオブジェクトをコピーする場合AWSリージョン間のデータ転送には料金がかかり、リージョン間のデータ転送には料金が発生します。これは、移行元のリージョンから移行先のリージョンへのデータ転送 OUT として請求されます。詳細については、「」を参照してください。データ転送料金

リージョンにデプロイされた DataSync EC2 エージェントを使用したデータ転送

DataSyncを使用して、AWS異なるサービスの AWS アカウント 、または自己管理ファイルシステム間でAWSと Amazon S3 をデプロイして、DataSync Amazon EC2 エージェントをAWSリージョン。詳細については、「にデプロイされた DataSync EC2 エージェントを使用するAWSリージョン」を参照してください。

コンポーネントと用語

DataSync のコンポーネントには次が含まれています。

  • エージェント — 自己管理ロケーションとの間でデータを読み取るまたはこの場所にデータを書き込むために使用される仮想マシン (VM)。間で転送する場合、エージェントは不要ですAWSストレージサービスを同じ AWS アカウント 。

  • 場所 — データ転送で使用される任意の送信元または送信先の場所(たとえば、Amazon S3、Amazon EFS、FSx for Windows File Server、NFS、SMB、自己管理型オブジェクトストレージなど)。

  • タスク — ソースロケーションとターゲットロケーション、およびデータの転送方法を定義する構成で構成されます。タスクは常に送信元のデータから送信先へデータを転送します。構成には、タスクスケジュール、帯域幅制限などのオプションを含めることができます。タスクはデータ転送の完全な定義です。

  • タスクの実行 — 個々のタスク実行。これには、開始時間、終了時間、書き込まれたバイト、ステータスなどの情報が含まれます。

Agent

Anエージェントは、自己管理ストレージシステムからデータを読み書きするために使用される所有の仮想マシンです。エージェントは、VMware ESXi、KVM、Microsoft Hyper-V ハイパーバイザーにデプロイすることも、Amazon EC2 インスタンスとして起動することもできます。あなたはAWSDataSync 管理コンソールまたは API を使用して、エージェントをセットアップしてアクティブ化します。アクティブ化を行うと、エージェント VM が AWS アカウント 。エージェントについては、「エージェントの使用」を参照してください。

正常に機能しているエージェントには [ONLINE (オンライン)] ステータスがあります。エージェントがと通信ができない場合AWSに遷移すると、オフラインステータスがである。この移行は、ネットワークパーティション、ファイアウォールの誤設定、およびエージェント VM がAWS。電源オフになっているエージェントのステータスも [OFFLINE (オフライン)] と表示されます。

Location

場所は、タスクのエンドポイントです。各タスクには、ソースロケーションとターゲットロケーションの 2 つのロケーションがあります。AWSDataSync は Network File System (NFS)、Server Message Block (SMB)、自己管理オブジェクトストレージ、Amazon EFS、FSx for Windows File Server、Amazon S3 を場所のタイプとしてサポートしています。詳細については、「場所の使用」を参照してください。

Task

タスクには 2 つの場所 (送信元と送信先)、および 1 つの場所から別の場所へデータを転送する方法の設定が含まれています。設定の構成には、メタデータの処理方法、ファイルの削除やアクセス許可などのオプションが含まれています。タスクはデータ転送の完全な定義です。

タスクの実行

タスクの実行 は個々のタスク実行であり、開始時間、終了時間、転送されたファイルの数やステータスなどの情報を表示します。

タスク実行には、以下の図に示すように、5 つの移行フェーズと 2 つの終了ステータスがあります。

VerifyMode オプションが有効化されていない場合、終了ステータスは [TRANSFERRING (転送中)] フェーズの後に生じます。それ以外の場合は、[VERIFYING (検証中)] フェーズの後に生じます。2 つの終了ステータスは次のとおりです。

  • SUCCESS

  • ERROR

上記のフェーズとステータスの詳細については、「タスク実行ステータスを理解します。」を参照してください。

DataSync がファイルを転送する方法

タスクを開始すると、異なるステータスになります。を起動する,準備,移管, および検証中。左を起動するステータスでは、DataSync はタスク実行を開始します。左準備ステータスでは、DataSync はソースと同期先ファイルシステムを調べて、どのファイルを同期するか決定します。これは、ソースと同期先ファイルシステムにあるファイルのコンテンツとメタデータを再帰的にスキャンして相違点を探すことで行われます。

DataSync が費やしている時間は、準備ステータスは、ソースと同期先両方のファイルシステムにあるファイルの数によって異なります。また、これらのファイルシステムのパフォーマンスによっても異なり、通常は数分から数時間かかります。詳細については、「タスクの開始」を参照してください。

スキャンが完了し、相違が計算されると、DataSync は移管ステータスがである。この時点で、DataSync は、ソースファイルシステムからファイルシステムへファイルとメタデータの転送を開始します。DataSync は、コピー元とコピー先の間で異なる内容またはメタデータを含むファイルへの変更をコピーします。コピーしたファイルを絞り込むにはデータのフィルタリングを使用するか、DataSyncをコピー先に既に存在するファイルを上書きしない

注記

デフォルトでは、ソース・ストレージのメタデータを変更すると、このメタデータはターゲット・ストレージにコピーされます。

移管フェーズが完了すると、DataSync はソースと同期先ファイルシステムの整合性を検証します。これが [VERIFYING (検証中)] フェーズです。

DataSync はデータを転送するときに、転送中必ずデータ整合性チェックを実行します。追加の検証を有効にして、転送の終了時に送信元と送信先を比較できます。この追加チェックでは、データセット全体を確認することも、タスク実行の一部として転送されたファイルだけを確認することもできます。ほとんどのユースケースでは、転送されたファイルのみを検証することをお勧めします。

方法AWSDataSyncはデータの整合性を検証します

AWSDataSync は、ソースファイルシステムおよび送信先にあるすべてのファイルのチェックサムをローカルで計算し、これらを比較します。さらに、DataSync は、送信元のファイルシステムと送信先にあるすべてのファイルのメタデータを比較します。いずれかに相違がある場合には、検証は失敗し、何が失敗したかを明確に指定するエラーコードを示します。例については、エラーコードを参照してください (Checksum failureMetadata failureFiles were addedFiles were removed など)。

詳細については、「」を参照してください。タスク作成ステータスを理解します。および検証を有効にするタスク設定の設定セクションに追加します。

DataSyncが開いているファイルとロックされているファイルを処理する方法

一般に、DataSync は開いているファイルを制限が一切ないまま転送できます。

ファイルが開いていて、転送中に書き込まれている場合、DataSync は検証中段階。つまり、DataSync は、送信元のファイルが送信先のファイルと異なるかどうかを検出します。

ファイルがロックされていて、サーバーによって DataSync がこのファイルを開くことを禁止されている場合、DataSync はそのファイルの転送をスキップします。DataSync は、移管フェーズに入力し、検証エラーを送信します。