File TransferPrüfsummen

File Transferführt im Hintergrund Prüfsummen für Ihre Uploads durch, um die Integrität der Dateien auf der Festplatte anhand der Dateien im S3-Bucket zu überprüfen. Prüfsummen werden für jede Datei berechnet, die Sie hochladen, und die Prüfsummenwerte werden in der Datenbank gespeichert. File Transfer

Im Folgenden wird der systemeigene File Transfer Prüfsummenprozess erklärt:

1. Prüfsummen werden für Dateien berechnet, die Sie hochladen.

2. Wenn die Upload-Datei nicht im S3-Bucket vorhanden ist, wird die Prüfsumme zur File Transfer Datenbank hinzugefügt und die Datei wird in den Amazon S3 S3-Bucket hochgeladen.

3. Wenn die Upload-Datei bereits im S3-Bucket vorhanden ist, wird die Prüfsumme der Upload-Datei mit der Prüfsumme in der Datenbank verglichen. File Transfer

   1. Wenn die Prüfsummen übereinstimmen, wird die Datei nicht hochgeladen, da sie mit der Datei im S3-Bucket identisch ist.

   2. Wenn die Prüfsummen nicht übereinstimmen, wurde die Upload-Datei geändert und in den S3-Bucket hochgeladen. Die neue Prüfsumme wird der File Transfer Datenbank hinzugefügt.

Wenn Sie den systemeigenen Prüfsummenprozess überspringen möchtenFile Transfer, fügen Sie eine Media Hash List (MHL) zu demselben Ordner oder einem beliebigen übergeordneten Ordner der Datei hinzu, die Sie hochladen möchten. Wenn Sie Ihre eigenen MHLs angeben, werden die Datei-Hashes File Transfer mit der MHL verglichen. Eine einzelne MHL im Stammverzeichnis Ihres lokalen File Transfer Ordners kann rekursiv auf Dateien in Unterordnern verweisen. Wir empfehlen, dass Sie eine einzige MHL-Datei verwenden, die Prüfsummen für die meisten, wenn nicht sogar alle Dateien im Ordner enthält, und nicht eine MHL-Datei für jede Datei.

Im Folgenden finden Sie einige wichtige Konzepte, die Sie über Prüfsummen verstehen sollten. File Transfer

Systemeigene Prüfsummen

Prüfsummen werden für Dateien berechnet, die Sie hochladen. Die Prüfsummen werden mit den Prüfsummen in der Datenbank verglichen. File Transfer Wenn die Prüfsummen nicht übereinstimmen, wird die Datei erneut File Transfer hochgeladen. Eine Nichtübereinstimmung der Prüfsummen tritt auf, wenn Sie die Datei seit dem ursprünglichen Upload geändert haben. Wenn die Datei zum ersten Mal hochgeladen wird, gibt es in Amazon S3 keine Datei, mit der verglichen werden File Transfer kann. Die CPU-Anzahl wirkt sich auf die Prüfsummenleistung aus.

MHL-Prüfsummen

Wenn Sie den systemeigenen Prüfsummenprozess von überspringen möchtenFile Transfer, geben Sie eine Media Hash List (MHL) -Datei im Upload-Verzeichnis an. Die MHL-Datei wird verwendet, um die Integrität der Dateien zu überprüfen, wenn sie an verschiedene Orte verschoben werden.

File Transferbehandelt die MHL als autoritative Quelle und hängt den Prüfsummenwert an die Metadaten des hochgeladenen Objekts an. Die MHL-Datei muss eines der folgenden Felder enthalten:,, oder. <md5>HEXVALUE</md5> <xxhash64>HEXVALUE</xxhash64> <xxhash64be>HEXVALUE</xxhash64be> Weitere Informationen zur MHL-Spezifikation finden Sie unter About Media Hash List.

Konfigurierbare Prüfsummen

File TransferVerwendet standardmäßig einen Wert weniger als die Gesamtzahl der logischen Kerne, um Prüfsummen gleichzeitig zu berechnen. Dieser Wert ist der maximale Schwellenwert.

Wenn Ihr Hostcomputer beispielsweise 12 logische Kerne hat, dann ist der maximale Schwellenwert 11. Der Mindestschwellenwert ist immer 1, unabhängig von der Anzahl der Kerne in der Maschine. Standardmäßig wird jeweils eine Prüfsumme ausgeführt. Es gibt eine Sicherheitsmaßnahme, die sicherstellt, dass die Anzahl der maximal aktiven Prüfsummen Ihren maximalen Schwellenwert nicht überschreitet.

Sie können die Anzahl der Prüfsummen, die gleichzeitig ausgeführt werden, anpassen, indem Sie die Konfigurationseigenschaft ändern. max_active_checksums Ein Beispiel dafür, wann Sie die Anzahl der Prüfsummen anpassen möchten, ist, wenn Sie die Menge der verwendeten Ressourcen reduzieren möchten. File Transfer Dadurch werden CPU-Ressourcen für andere Prozesse freigegeben.