File Transfersommes de contrôle

File Transfereffectue des checksums en arrière-plan pour vos téléchargements afin de vérifier l'intégrité des fichiers sur le disque par rapport aux fichiers du compartiment S3. Les checksums sont calculés pour chaque fichier que vous chargez, et les valeurs des checksum sont stockées dans la File Transfer base de données.

Ce qui suit explique File Transfer le processus de somme de contrôle natif :

1. Les checksums sont calculés pour les fichiers que vous chargez.

2. Si le fichier de téléchargement n'existe pas dans le compartiment S3, la somme de contrôle est ajoutée à la File Transfer base de données et le fichier est chargé dans le compartiment Amazon S3.

3. Si le fichier de téléchargement existe déjà dans le compartiment S3, la somme de contrôle du fichier de téléchargement est comparée à la somme de contrôle de la base de données. File Transfer

   1. Si les sommes de contrôle correspondent, le fichier n'est pas chargé car il est identique au fichier du compartiment S3.

   2. Si les sommes de contrôle ne correspondent pas, le fichier de téléchargement a été modifié et il est chargé dans le compartiment S3. Le nouveau checksum est ajouté à la File Transfer base de données.

Si vous souhaitez ignorer le processus de somme de contrôle natif qui s'y trouveFile Transfer, ajoutez une liste de hachage multimédia (MHL) dans le même dossier, ou dans n'importe quel dossier parent, du fichier que vous souhaitez télécharger. Si vous fournissez vos propres MHL, File Transfer vérifie les hachages des fichiers par rapport au MHL. Un seul fichier MHL situé à la racine de votre File Transfer dossier local peut référencer de manière récursive des fichiers au sein de sous-dossiers. Nous vous recommandons de disposer d'un seul fichier MHL contenant des sommes de contrôle pour la plupart, sinon la totalité, des fichiers du dossier, plutôt que d'un fichier MHL pour chaque fichier.

Voici quelques concepts importants à comprendre à propos des File Transfer checksums.

Checksums natifs

Les checksums sont calculés pour les fichiers que vous chargez. Les sommes de contrôle sont comparées aux sommes de contrôle de la base de données. File Transfer Si les sommes de contrôle ne correspondent pas, File Transfer télécharge à nouveau le fichier. Une incompatibilité entre les sommes de contrôle se produit si vous avez modifié le fichier depuis le téléchargement initial. La première fois que le fichier est chargé, aucun fichier existant dans Amazon S3 ne File Transfer pourra être utilisé à des fins de comparaison. Le nombre de processeurs a un impact sur les performances du checksum.

Sommes de contrôle MHL

Si vous souhaitez ignorer le processus de somme de contrôle natif deFile Transfer, fournissez un fichier de liste de hachage multimédia (MHL) dans le répertoire de téléchargement. Le fichier MHL est utilisé pour vérifier l'intégrité des fichiers lorsqu'ils se déplacent vers différents endroits.

File Transfertraite le MHL comme la source officielle et ajoute la valeur de la somme de contrôle aux métadonnées de l'objet chargé. Le fichier MHL doit contenir l'un des champs suivants : <md5>HEXVALUE</md5><xxhash64>HEXVALUE</xxhash64>, ou<xxhash64be>HEXVALUE</xxhash64be>. Pour en savoir plus sur la spécification MHL, voir À propos de la liste de hachage multimédia.

Sommes de contrôle configurables

Par défaut, File Transfer utilise un de moins que le nombre total de cœurs logiques pour calculer simultanément les checksums. Cette valeur est le seuil maximal.

Par exemple, si votre machine hôte possède 12 cœurs logiques, le seuil maximum est de 11. Le seuil minimum sera toujours de 1, quel que soit le nombre de cœurs de la machine. Par défaut, 1 checksum est exécuté à la fois. Une mesure de protection a été mise en place pour garantir que le nombre maximum de checksums actifs ne dépasse pas votre seuil maximum.

Vous pouvez ajuster le nombre de checksums exécutés simultanément en modifiant la propriété de max_active_checksums configuration. Par exemple, vous pouvez ajuster le nombre de checksums si vous souhaitez réduire la quantité de ressources File Transfer utilisées. Cela libère des ressources du processeur pour d'autres processus.