File Transfer チェックサム

File Transfer は、アップロードのチェックサムをバックグラウンドで実行して、ディスク上のファイルと S3 バケット内のファイルの整合性を検証します。チェックサムはアップロードしたファイルごとに計算され、チェックサム値は File Transfer データベースに保存されます。

File Transfer のネイティブチェックサムプロセスについて以下に説明します。

1. チェックサムはアップロードしたファイルに対して計算されます。

2. アップロードファイルが S3 バケットに存在しない場合、チェックサムは File Transfer データベースに追加され、ファイルは Amazon S3 バケットにアップロードされます。

3. アップロードファイルが S3 バケットに既に存在する場合、アップロードファイルのチェックサムは File Transfer データベースのチェックサムと照合されます。

   1. チェックサムが一致する場合、ファイルは S3 バケット内のファイルと同一であるため、アップロードされません。

   2. チェックサムが一致しない場合、アップロードファイルは変更されているため、S3 バケットにアップロードされます。新しいチェックサムが File Transfer データベースに追加されます。

File Transfer 内のネイティブチェックサムプロセスをスキップしたい場合は、アップロードするファイルと同じフォルダ、またはこのファイルの任意の親フォルダにメディアハッシュリスト (MHL) を追加します。独自の MHL を指定すると、File Transfer はファイルハッシュと MHL を照合します。File Transfer のローカルフォルダのルートにある 1 つの MHL が、サブフォルダ内のファイルを再帰的に参照できます。ほとんどの転送では、ファイルごとに MHL ファイルを使用せずに、フォルダ内のほぼすべてのファイルのチェックサムを含む 1 つの MHL ファイルを使用することをお勧めします。

File Transfer チェックサムについて理解しておくべき重要な概念は次のとおりです。

ネイティブチェックサム

チェックサムはアップロードしたファイルに対して計算されます。チェックサムは、File Transfer データベース内のチェックサムと照合されます。チェックサムが一致しない場合、File Transfer はファイルを再度アップロードします。最初のアップロード以降にファイルを変更した場合、チェックサムに不一致が生じます。ファイルが初めてアップロードされた時点では、File Transfer が比較に使用できる既存のファイルが Amazon S3 にありません。CPU 数はチェックサムのパフォーマンスに影響します。

MHL チェックサム

File Transfer のネイティブチェックサムプロセスをスキップしたい場合は、アップロードディレクトリに 1 つのメディアハッシュリスト (MHL) ファイルを用意します。MHL ファイルは、ファイルが別の場所に移動されるときに整合性の検証に使用されます。

File Transfer は MHL を信頼できるソースとして扱い、アップロードされたオブジェクトのメタデータにチェックサム値を追加します。MHL ファイルには、<md5>HEXVALUE</md5>、<xxhash64>HEXVALUE</xxhash64>、または <xxhash64be>HEXVALUE</xxhash64be> のいずれかのフィールドが含まれている必要があります。MHL 仕様の詳細については、「About Media Hash List」を参照してください。

設定可能なチェックサム

デフォルトでは、File Transfer は総数より 1 つ少ない論理コアを使用してチェックサムを同時に計算します。この値は最大しきい値です。

例えば、ホストマシンに 12 個の論理コアがある場合、最大しきい値は 11 です。マシンのコア数にかかわらず、最小しきい値は常に 1 です。デフォルトでは、一度に 1 つのチェックサムが実行されます。アクティブなチェックサムの最大数が最大しきい値を超えないようにするための安全対策が講じられています。

max_active_checksums 設定プロパティを変更することで、同時に実行するチェックサムの数を調整できます。チェックサムの数を調整する必要がある場合の一例は、File Transfer が使用するリソースの量を減らしたいときです。これにより、CPU リソースを他の用途に解放できます。