Snowball Edge デバイスを使用して転送されたデータの検証

次に、 AWS Snowball Edge がデータ転送を検証する方法と、ジョブ中およびジョブ後にデータの整合性を確保するために実行できる手動手順について説明します。

Amazon S3 インターフェイスを使用してローカルのデータソースから Snowball Edge にファイルをコピーする際、多数のチェックサムが作成されます。これらのチェックサムを使用して、転送中のデータが自動的に検証されます。

おおまかには、これらのチェックサムはファイルごと (または大きなファイルの部分ごと) に作成されます。Snowball Edge では、デバイスのバケットに対して次の AWS CLI コマンドを実行すると、これらのチェックサムが表示されます。チェックサムは、転送プロセス全体でデータの整合性を検証し、データが正しくコピーされたことを確認するために使用されます。

aws s3api list-objects --bucket bucket-name --endpoint http://ip:8080 --profile edge-profile

これらのチェックサムが一致しない場合、関連データは Amazon S3 にインポートされません。

ローカルファイルインベントリと Snowball Edge データトラスナー

Amazon S3 アダプターまたは を使用する際に Snow Family デバイスにコピーされたファイルのローカルインベントリを作成しますCLI。ローカルインベントリの内容を使用して、ローカルストレージまたはサーバーにある内容と比較できます。

例えば、 などです

aws s3 cp folder/ s3://bucket --recursive > inventory.txt

Snow Family デバイスによるデータ検証エラーの一般的な原因

検証エラーが発生すると、対応するデータ (ファイルまたは大きなファイルの一部) は送信先に書き込まれません。検証エラーの一般的な原因は以下のとおりです。

• シンボリックリンクのコピーしようとした。

• アクティブに変更中のファイルをコピーしようとした。試行がチェックサム検証に失敗し、失敗した転送としてマークされた。

• 5 TB を超えるサイズのファイルをコピーしようとした。

• 2 GiB を超えるパートサイズをコピーしようとした。

• データストレージ容量がすでにいっぱいになっている Snowball Edge デバイスにファイルをコピーしようとした。

• Amazon S3 のオブジェクトキーの命名のガイドラインに従っていない Snowball Edge デバイスに、ファイルをコピーしようとした。

これらの検証エラーのいずれか 1 つが発生すると、ログに記録されます。検証に失敗したファイルとその理由は、ステップに従って手動で特定できます。詳細については、Amazon S3 へのインポート後に Snowball Edge デバイスからのデータを手動で検証する を参照してください。

Amazon S3 へのインポート後に Snowball Edge デバイスからのデータを手動で検証する

インポートジョブの完了後に Amazon S3 内のデータを手動検証するいくつかのオプションについて以下に説明します。

ジョブ完了レポートおよび関連ログの確認

Amazon S3 にデータがインポートまたはエクスポートされるたびに、ダウンロード可能なPDFジョブレポートが表示されます。インポートジョブの場合、このレポートはインポートプロセスの最後に生成されます。詳細については、「データトラスナージョブ完了レポートとログの取得」を参照してください。

S3 インベントリ

複数のジョブで大量のデータを Amazon S3 内に転送した場合、ジョブ完了レポートを個別に確認することは効率的ではありません。代わりに、1 つまたは複数の Amazon S3 バケット内の、すべてのオブジェクトのインベントリを取得できます。Amazon S3 インベントリは、オブジェクトと対応するメタデータを毎日または毎週表示するカンマ区切りの値 (CSV) ファイルを提供します。このファイルでは、Amazon S3 バケットのオブジェクトまたは共有プレフィックスのオブジェクト (名前が共通の文字列で始まるオブジェクト) が対象となります。

データをインポートした先の Amazon S3 バケットのインベントリを取得すると、このインベントリを、ソースデータの転送元のファイルと容易に比較できます。この方法により、どの場所にあるどのファイルが転送されなかったかをすばやく確認できます。

Amazon S3 sync コマンドの使用

ワークステーションがインターネットに接続できる場合は、 AWS CLI コマンド を実行して、転送されたすべてのファイルの最終検証を実行できますaws s3 sync。このコマンドは、ディレクトリと S3 プレフィックスを同期させます。新しいファイルおよび更新されたファイルを送信元ディレクトリから送信先に再帰的にコピーします。詳細については、AWS CLI コマンドリファレンスの同期を参照してください。

重要

このコマンドの送信先としてローカルストレージを指定する場合は、同期先のファイルのバックアップを必ず作成してください。これらのファイルは、指定した Amazon S3 の送信元のコンテンツで上書きされます。