Snowball Edge ジョブのデータ検証

以下に、AWS Snowball のエッジがデータ転送を検証する方法と、ジョブの実施中および実施後のデータ整合性を確認する手動ステップについて説明します。

転送されたデータのチェックサムの検証

Amazon S3 インターフェイスを使用してローカルのデータソースから Snowball Edge にファイルをコピーする際、多数のチェックサムが作成されます。これらのチェックサムを使用して、転送中のデータが自動的に検証されます。

おおまかには、これらのチェックサムはファイルごと (または大きなファイルの部分ごと) に作成されます。Snowball Edge の場合、デバイスのバケットに対して以下の AWS CLI コマンドを実行すると、これらのチェックサムが表示されます。チェックサムは、転送プロセス全体でデータの整合性を検証し、データが正しくコピーされたことを確認するために使用されます。

aws s3api list-objects --bucket bucket-name --endpoint http://ip:8080 --profile edge-profile

これらのチェックサムが一致しない場合、関連データは Amazon S3 にインポートされません。

Snowball 転送中のローカルインベントリの作成

Amazon S3 アダプターまたは CLI を使用する場合は、Snowball にコピーされたファイルのローカルインベントリを作成します。ローカルインベントリの内容を使用して、ローカルストレージまたはサーバーにある内容と比較できます。

例えば、 などです

aws s3 cp folder/ s3://bucket --recursive > inventory.txt

一般的な検証エラー

検証エラーが発生すると、対応するデータ (ファイルまたは大きなファイルの一部) は送信先に書き込まれません。検証エラーの一般的な原因は以下のとおりです。

• シンボリックリンクのコピーしようとした。

• アクティブに変更中のファイルをコピーしようとした。試行がチェックサム検証に失敗し、失敗した転送としてマークされた。

• 5 TB を超えるサイズのファイルをコピーしようとした。

• 2 GiB を超えるパートサイズをコピーしようとした。

• データストレージ容量がすでにいっぱいになっている Snowball Edge デバイスにファイルをコピーしようとした。

• Amazon S3 のオブジェクトキーの命名のガイドラインに従っていない Snowball Edge デバイスに、ファイルをコピーしようとした。

これらの検証エラーのいずれか 1 つが発生すると、ログに記録されます。検証に失敗したファイルとその理由は、ステップに従って手動で特定できます。詳細については、Amazon S3 にデータをインポートした後、Snowball Edge を手動検証する を参照してください。

Amazon S3 にデータをインポートした後、Snowball Edge を手動検証する

インポートジョブの完了後に Amazon S3 内のデータを手動検証するいくつかのオプションについて以下に説明します。

ジョブ完了レポートおよび関連ログの確認

データが Amazon S3 でインポートされたりエクスポートされたりするたびに、ダウンロード可能な PDF 形式のジョブレポートが生成されます。インポートジョブの場合、このレポートはインポートプロセスの最後に生成されます。詳細については、「コンソールでのジョブ完了レポートおよびログの取得」を参照してください。

S3 インベントリ

複数のジョブで大量のデータを Amazon S3 内に転送した場合、ジョブ完了レポートを個別に確認することは効率的ではありません。代わりに、1 つまたは複数の Amazon S3 バケット内の、すべてのオブジェクトのインベントリを取得できます。Amazon S3 インベントリでは、オブジェクトおよび対応するメタデータが日単位または週単位で、カンマ区切り値 (CSV) ファイルに表示されます。このファイルでは、Amazon S3 バケットのオブジェクトまたは共有プレフィックスのオブジェクト (名前が共通の文字列で始まるオブジェクト) が対象となります。

データをインポートした先の Amazon S3 バケットのインベントリを取得すると、このインベントリを、ソースデータの転送元のファイルと容易に比較できます。この方法により、どの場所にあるどのファイルが転送されなかったかをすばやく確認できます。

Amazon S3 sync コマンドの使用

ワークステーションからインターネットに接続できる場合、AWS CLI コマンドの aws s3 sync を実行して、すべての転送されたファイルの最終的な検証ができます。このコマンドは、ディレクトリと S3 プレフィックスを同期させます。新しいファイルおよび更新されたファイルを送信元ディレクトリから送信先に再帰的にコピーします。詳細については、AWS CLI コマンドリファレンスの同期を参照してください。

重要

このコマンドの送信先としてローカルストレージを指定する場合は、同期先のファイルのバックアップを必ず作成してください。これらのファイルは、指定した Amazon S3 の送信元のコンテンツで上書きされます。