Sumas de comprobación de File Transfer

File Transfer realiza sumas de comprobación en segundo plano para las cargas a fin de comprobar la integridad de los archivos del disco con respecto a los archivos del bucket de S3. Se calculan sumas de comprobación para cada archivo que cargue y los valores de estas se almacenan en la base de datos de File Transfer.

A continuación, se explica el proceso de suma de comprobación nativo de File Transfer:

1. Se calculan sumas de comprobación para los archivos que se cargan.

2. Si el archivo de carga no existe en el bucket de S3, la suma de comprobación se agrega a la base de datos de File Transfer y el archivo se carga en el bucket de Amazon S3.

3. Si el archivo de carga ya existe en el bucket de S3, la suma de comprobación del archivo de carga se compara con la suma de comprobación de la base de datos de File Transfer.

   1. Si las sumas de comprobación coinciden, el archivo no se carga porque es idéntico al del bucket de S3.

   2. Si las sumas de comprobación no coinciden quiere decir que el archivo de carga se ha modificado y se carga en el bucket de S3. La nueva suma de comprobación se agrega a la base de datos de File Transfer.

Si quiere omitir el proceso de suma de comprobación nativo en File Transfer, agregue una lista de hash de medios (MHL) a la misma carpeta, o a cualquier carpeta principal, del archivo que quiere cargar. Si proporciona sus propias listas MHL, File Transfer comprueba los hashes de archivo con la lista MHL. Una sola MHL en la raíz de la carpeta File Transfer local puede hacer referencia de forma recursiva a los archivos de las subcarpetas. Le recomendamos que tenga un único archivo MHL, que contenga sumas de comprobación para la mayoría de (si no todos) los archivos de la carpeta, en lugar de un archivo MHL para cada archivo.

A continuación, se incluyen algunos conceptos importantes para entender las sumas de comprobación de File Transfer.

Sumas de comprobación nativas

Se calculan sumas de comprobación para los archivos que se cargan. Las sumas de comprobación se comparan con las existentes en la base de datos de File Transfer. Si hay una discrepancia en las sumas de comprobación, File Transfer vuelve a cargar el archivo. Si se ha modificado el archivo desde su carga original, las sumas de comprobación no coinciden. La primera vez que se cargue el archivo, no habrá ningún archivo existente en Amazon S3 que File Transfer pueda utilizar para comparar. El número de CPU influye en el rendimiento de la suma de comprobación.

Sumas de comprobación de MHL

Si quiere omitir el proceso de suma de comprobación nativo de File Transfer, proporcione un archivo de lista de hash de medios (MHL) en el directorio de carga. El archivo de lista MHL se utiliza para verificar la integridad de los archivos cuando se trasladan a distintos lugares.

File Transfer trata la lista MHL como la fuente acreditada y añade el valor de la suma de comprobación a los metadatos del objeto cargado. El archivo de lista MHL debe contener uno de los siguientes campos: <md5>HEXVALUE</md5>, <xxhash64>HEXVALUE</xxhash64> o <xxhash64be>HEXVALUE</xxhash64be>. Para obtener más información sobre la especificación de la lista MHL, consulte Información sobre la lista de hash de medios.

Sumas de comprobación configurables

De forma predeterminada, para el cálculo simultáneo de sumas de comprobación, File Transfer utiliza un núcleo lógico menos que el número total de núcleos lógicos. Este valor es el umbral máximo.

Por ejemplo, si la máquina host tiene 12 núcleos lógicos, el umbral máximo es 11. El umbral mínimo siempre será 1, independientemente del número de núcleos de la máquina. De forma predeterminada, se ejecuta 1 suma de comprobación a la vez. Existe una medida de seguridad para garantizar que el número máximo de sumas de comprobación activas no supere su umbral máximo.

Para ajustar el número de sumas de control que se ejecutan al mismo tiempo, modifique la propiedad de configuración max_active_checksums. Por ejemplo, si desea reducir la cantidad de recursos que utiliza File Transfer, puede ajustar el número de sumas de comprobación. Esto libera recursos de la CPU para otros procesos.