File Transferchecksum

File Transfermelakukan checksum di latar belakang untuk unggahan Anda guna memverifikasi integritas file pada disk terhadap file di bucket S3. Checksum dihitung untuk setiap file yang Anda unggah, dan nilai checksum disimpan dalam database. File Transfer

Berikut ini menjelaskan File Transfer proses checksum asli:

1. Checksum dihitung untuk file yang Anda unggah.

2. Jika file upload tidak ada di bucket S3, checksum ditambahkan ke File Transfer database, dan file tersebut diunggah ke bucket Amazon S3.

3. Jika file upload sudah ada di bucket S3, maka checksum file upload diperiksa terhadap checksum dalam database. File Transfer

   1. Jika checksum cocok, maka file tersebut tidak diunggah karena identik dengan file di bucket S3.

   2. Jika checksum tidak cocok, file unggahan telah dimodifikasi dan diunggah ke bucket S3. Checksum baru ditambahkan ke File Transfer database.

Jika Anda ingin melewati proses checksum asli di dalamnyaFile Transfer, tambahkan Daftar Hash Media (MHL) ke folder yang sama, atau folder induk mana pun, dari file yang ingin Anda unggah. Jika Anda menyediakan MHL Anda sendiri, File Transfer verifikasi hash file terhadap MHL. Satu MHL di root File Transfer folder lokal Anda dapat secara rekursif mereferensikan file dalam sub-folder. Kami menyarankan Anda memiliki satu file MHL, yang memiliki checksum untuk sebagian besar, jika tidak semua, file dalam folder, bukan file MHL untuk setiap file.

Berikut ini adalah beberapa konsep penting untuk dipahami tentang File Transfer checksum.

Checksum asli

Checksum dihitung untuk file yang Anda unggah. Checksum diperiksa terhadap checksum dalam database. File Transfer Jika ada ketidakcocokan dalam checksum, File Transfer unggah file lagi. Ketidakcocokan dalam checksum terjadi jika Anda telah mengubah file sejak unggahan asli. Pertama kali file diunggah, tidak akan ada file yang ada di Amazon S3 File Transfer yang dapat digunakan untuk membandingkannya. Jumlah CPU memengaruhi kinerja checksum.

Checksum MHL

Jika Anda ingin melewati proses checksum asliFile Transfer, berikan file Media Hash List (MHL) di direktori upload. File MHL digunakan untuk memverifikasi integritas file saat mereka pindah ke tempat yang berbeda.

File Transfermemperlakukan MHL sebagai sumber otoritatif dan menambahkan nilai checksum ke metadata objek yang diunggah. File MHL harus berisi salah satu bidang berikut:<md5>HEXVALUE</md5>,<xxhash64>HEXVALUE</xxhash64>, atau. <xxhash64be>HEXVALUE</xxhash64be> Untuk mempelajari lebih lanjut tentang spesifikasi MHL, lihat Tentang Daftar Hash Media.

Checksum yang dapat dikonfigurasi

Secara default, File Transfer menggunakan satu kurang dari total jumlah inti logis untuk menghitung checksum secara bersamaan. Nilai ini adalah ambang batas maksimum.

Misalnya, jika mesin host Anda memiliki 12 core logis, maka ambang maksimum adalah 11. Ambang minimum akan selalu 1, terlepas dari jumlah inti di mesin. Secara default, 1 checksum berjalan pada satu waktu. Ada perlindungan di tempat untuk memastikan bahwa jumlah checksum aktif maksimal tidak melampaui ambang batas maksimum Anda.

Anda dapat menyesuaikan jumlah checksum yang berjalan pada saat yang sama dengan memodifikasi properti konfigurasi. max_active_checksums Contoh kapan Anda mungkin ingin menyesuaikan jumlah checksum adalah jika Anda ingin mengurangi jumlah sumber daya yang File Transfer digunakan. Ini membebaskan sumber daya CPU untuk proses lain.