Somas de verificação de File Transfer

O File Transfer executa somas de verificação em segundo plano para os uploads a fim de verificar a integridade dos arquivos no disco em relação aos arquivos no bucket do S3. As somas de verificação são calculadas para cada arquivo que você carrega, e os valores da soma de verificação são armazenados no banco de dados do File Transfer.

Veja a seguir a explicação do processo de soma de verificação nativo do File Transfer:

1. As somas de verificação são calculadas para os arquivos que você carrega.

2. Se o arquivo de upload não existir no bucket do S3, a soma de verificação será adicionada ao banco de dados do File Transfer e o arquivo será carregado no bucket do Amazon S3.

3. Se o arquivo de upload já existir no bucket do S3, a soma de verificação do arquivo de upload será comparada à soma de verificação no banco de dados do File Transfer.

   1. Se as somas de verificação corresponderem, o arquivo não será carregado porque é idêntico ao arquivo no bucket do S3.

   2. Se as somas de verificação não corresponderem, o arquivo de upload foi modificado e será carregado no bucket do S3. A nova soma de verificação é adicionada ao banco de dados do File Transfer.

Se você quiser ignorar o processo de soma de verificação nativo no File Transfer, adicione uma lista de hash de mídia (MHL) à mesma pasta, ou a qualquer pasta principal que deseja carregar. Se você fornecer suas próprias MHLs, o File Transfer verificará os hashes de arquivos com relação à MHL. Um único MHL na raiz da pasta local do File Transfer pode referenciar recursivamente arquivos dentro de subpastas. Recomendamos que você tenha um único arquivo MHL, que tenha somas de verificação para a maioria, se não todos, os arquivos na pasta, em vez de um arquivo MHL para cada arquivo.

A seguir estão alguns conceitos importantes para entender sobre somas de verificação do File Transfer.

Somas de verificação nativas

As somas de verificação são calculadas para os arquivos que você carrega. As somas de verificação são comparadas com as somas de verificação no banco de dados do File Transfer. Se houver uma incompatibilidade nas somas de verificação, o File Transfer fará o upload do arquivo novamente. Uma incompatibilidade nas somas de verificação ocorrerá se você tiver alterado o arquivo desde o upload original. Na primeira vez em que o arquivo for carregado, não haverá nenhum arquivo existente no Amazon S3 que o File Transfer possa usar para comparação. A contagem de CPU afeta o desempenho da soma de verificação.

Somas de verificação da MHL

Se você quiser ignorar o processo de soma de verificação nativo do File Transfer, forneça um arquivo de lista de hash de mídia (MHL) no diretório de upload. O arquivo MHL é usado para verificar a integridade dos arquivos à medida que eles se movem para lugares diferentes.

O File Transfer trata a MHL como a fonte autorizada e anexa o valor da soma de verificação aos metadados do objeto de upload. O arquivo MHL deve conter um dos seguintes campos: <md5>HEXVALUE</md5>, <xxhash64>HEXVALUE</xxhash64>, ou <xxhash64be>HEXVALUE</xxhash64be>. Para saber mais sobre a especificação de MHL, consulte Sobre a lista de hash de mídia.

Somas de verificação configuráveis

Por padrão, o File Transfer usa uma a menos do que a contagem total de núcleos lógicos para calcular somas de verificação simultaneamente. Esse valor é o limite máximo.

Por exemplo, se a máquina de host tiver 12 núcleos lógicos, o limite máximo será 11. O limite mínimo sempre será 1, independentemente do número de núcleos na máquina. Por padrão, 1 soma de verificação é executada por vez. Existe uma proteção para garantir que o número máximo de somas de verificação ativas não ultrapasse seu limite máximo.

É possível ajustar o número de somas de verificação em execução ao mesmo tempo modificando a propriedade de configuração max_active_checksums. Um exemplo de quando você pode querer ajustar o número de somas de verificação é se você quiser reduzir a quantidade de recursos que o File Transfer usa. Isso libera recursos da CPU para outros processos.