File Transferchecksum

File Transferesegue checksum in background per i tuoi caricamenti per verificare l'integrità dei file su disco rispetto ai file nel bucket S3. I checksum vengono calcolati per ogni file caricato e i valori di checksum vengono memorizzati nel database. File Transfer

Di seguito viene spiegato il processo File Transfer di checksum nativo:

1. I checksum vengono calcolati per i file caricati.

2. Se il file di caricamento non esiste nel bucket S3, il checksum viene aggiunto al File Transfer database e il file viene caricato nel bucket Amazon S3.

3. Se il file di caricamento esiste già nel bucket S3, il checksum del file di caricamento viene confrontato con il checksum del database. File Transfer

   1. Se i checksum corrispondono, il file non viene caricato perché è identico al file nel bucket S3.

   2. Se i checksum non corrispondono, il file di caricamento è stato modificato e viene caricato nel bucket S3. Il nuovo checksum viene aggiunto al database. File Transfer

Se desideri saltare il processo di checksum nativo inclusoFile Transfer, aggiungi un Media Hash List (MHL) alla stessa cartella, o a qualsiasi cartella principale, del file che desideri caricare. Se fornite i vostri codici MHL, File Transfer verificate gli hash dei file rispetto a quelli MHL. Un singolo MHL nella radice della File Transfer cartella locale può fare riferimento in modo ricorsivo ai file all'interno delle sottocartelle. Si consiglia di avere un unico file MHL con i checksum per la maggior parte, se non tutti, i file della cartella, anziché un file MHL per ogni file.

Di seguito sono riportati alcuni concetti importanti da comprendere sui checksum. File Transfer

Checksum nativi

I checksum vengono calcolati per i file caricati. I checksum vengono confrontati con i checksum del database. File Transfer Se c'è una mancata corrispondenza nei checksum, carica nuovamente il file. File Transfer Se avete modificato il file dopo il caricamento originale, si verifica una mancata corrispondenza nei checksum. La prima volta che il file viene caricato, non ci sarà alcun file esistente in Amazon S3 da File Transfer utilizzare per il confronto. Il numero di CPU influisce sulle prestazioni del checksum.

checksum MHL

Se desideri saltare il processo di checksum nativo diFile Transfer, fornisci un file Media Hash List (MHL) nella directory di caricamento. Il file MHL viene utilizzato per verificare l'integrità dei file mentre si spostano in luoghi diversi.

File Transferconsidera l'MHL come fonte autorevole e aggiunge il valore di checksum ai metadati dell'oggetto caricato. Il file MHL deve contenere uno dei seguenti campi:, o. <md5>HEXVALUE</md5> <xxhash64>HEXVALUE</xxhash64> <xxhash64be>HEXVALUE</xxhash64be> Per ulteriori informazioni sulle specifiche MHL, consulta About Media Hash List.

Checksum configurabili

Per impostazione predefinita, File Transfer utilizza un numero di core logici in meno rispetto al numero totale di core logici per calcolare contemporaneamente i checksum. Questo valore è la soglia massima.

Ad esempio, se la macchina host dispone di 12 core logici, la soglia massima è 11. La soglia minima sarà sempre 1, indipendentemente dal numero di core nella macchina. Per impostazione predefinita, viene eseguito 1 checksum alla volta. È stata predisposta una protezione per garantire che il numero massimo di checksum attivi non superi la soglia massima.

È possibile regolare il numero di checksum in esecuzione contemporaneamente modificando la proprietà di configurazione. max_active_checksums Un esempio di quando potresti voler modificare il numero di checksum è se desideri ridurre la quantità di risorse utilizzate. File Transfer In questo modo si liberano risorse della CPU per altri processi.