Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Bonnes pratiques File Transfer
Pour en tirer le meilleur partiNimble Studio File Transfer, nous vous recommandons de suivre les meilleures pratiques décrites sur cette page.
Table des matières
Amazon Simple Storage Service (Amazon S3)
-
Suivez les pratiques de dénomination des compartiments Amazon Simple Storage Service (Amazon S3) décrites dans le didacticiel sur la création de noms de clés d'objets.
-
Pour optimiser les vitesses de transfert depuis le monde entier vers des compartiments Amazon S3, suivez les instructions du didacticiel Configurer des transferts de fichiers rapides et sécurisés à l'aide d'Amazon S3 Transfer Acceleration.
-
Pour minimiser les coûts de stockage, configurez une règle de cycle de vie en suivant les instructions du didacticiel Configuration du cycle de vie d'un bucket pour abandonner les téléchargements partitionnés incomplets. Pour plus d'informations sur la réduction des coûts, consultez le billet de blog intitulé Découverte et suppression des téléchargements partitionnés incomplets pour réduire les coûts d'Amazon S3
.
AWS Key Management Service (AWS KMS)
-
Lorsque vous créez un compartiment S3 dansCréation d’un compartiment S3, nous vous recommandons de choisir une AWS Key Management Serviceclé (SSE-KMS). Pour plus d'informations sur les clés KMS, consultez la section Clés et AWS clés client.
Matériel
Nous recommandons que votre ordinateur réponde aux exigences suivantes pour que vous puissiez l'utiliserFile Transfer.
-
8 cœurs de processeur logiques
-
8 Go de RAM
File Transferpeut fonctionner sur une machine avec des spécifications inférieures à celles-ci, mais cela peut réduire les performances.
Configuration
Vous avez la possibilité d'utiliser le réglage automatique ou de régler manuellement les paramètres pour répondre au mieux à vos cas d'utilisation en matière de transfert de fichiers. Si vous choisissez de régler manuellement vos paramètres, des performances médiocres risquent de se produire si vous ne le faites pas correctement. Nous recommandons à la plupart des utilisateurs de laisser le réglage automatique activé.
Configuration du réglage automatique
Nous recommandons à la plupart des utilisateurs de laisser le paramètre Transfer autotuning activé. Si le paramètre Transfer autotuning est activé, définit File Transfer automatiquement les valeurs du nombre de threads et de la taille des morceaux. File Transferdétermine les paramètres les plus efficaces en fonction du type de données que vous transférez.
Le paramètre Transfer autotuning ajuste vos paramètres de performance par fichier. Si vous définissez manuellement les valeurs du nombre de fils et de la taille des morceaux, ces paramètres sont appliqués à l'ensemble du lot de transferts. C'est pourquoi le réglage automatique des transferts améliore généralement les performances lorsque vous transférez des fichiers de tailles différentes. Les performances du paramètre Transfer autotuning sont comparables aux réglages manuels des paramètres lorsque vous transférez des fichiers de tailles similaires. Si vous avez une connaissance approfondie de votre matériel et des données de transfert, vos paramètres manuels peuvent surpasser les valeurs choisies par Transfer autotuning.
Threads
AvecFile Transfer, chaque transfert est divisé en plusieurs threads individuels qui sont utilisés pour transférer chaque fichier. Les threads sont particulièrement efficaces lorsque vous importez des fichiers volumineux (> 1 Go). Les threads peuvent également être utiles pour les petits fichiers, mais les différences de vitesse de transfert ne seront pas perceptibles.
Par défaut, le nombre de threads est de 10. Nous vous recommandons d'augmenter cette valeur par incréments de 5 jusqu'à ce que vous utilisiez pleinement vos ressources en bande passante. Vous pouvez surveiller les ressources en bande passante à partir de l'interface utilisateur graphique (GUI) en examinant les vitesses de téléchargement et de téléversement des transferts.
Taille du morceau
La taille du morceau est la taille (en Mo) fournie par chaque thread. La taille des morceaux est utile si la taille d'un fichier est répétée dans l'ensemble de fichiers en cours de téléchargement.
Nous vous recommandons de définir une taille de bloc 5 à 10 fois supérieure à la taille moyenne des fichiers que vous transférez. Par exemple, si la taille moyenne d'un fichier dans un ensemble de données est de 50 Mo, définissez la taille des fragments entre 55 et 60. Si la taille du fichier est supérieure à 1 Go, cela ne présentera pas autant d'avantages.
Nombre maximum de transferts actifs
Le nombre maximal de transferts actifs détermine le nombre File Transfer de fichiers individuels traités simultanément. Le réglage du nombre maximum de transferts actifs est particulièrement efficace lorsque vous transférez plusieurs petits fichiers de moins de 1 Go. Nous vous recommandons d'augmenter la valeur maximale des transferts actifs à mesure que la taille du fichier diminue.
Le tableau suivant indique les points de départ et les incréments recommandés pour le nombre maximal de transferts actifs. Commencez par la valeur figurant dans la colonne des transferts actifs maximaux et augmentez-la par incrément jusqu'à ce que vous atteigniez les performances souhaitées.
| Taille de fichier | Nombre maximum de transferts actifs | Incréments |
|---|---|---|
|
< 1 Mo |
100 |
|
|
> 1 Mo, < 100 Mo |
50 |
|
|
> 100 Mo, < 1 Go |
25 |
|
|
> 1 GO |
10 |
|
Totaux de contrôle
File Transfersommes de contrôlesont le nombre de sommes de contrôle individuelles File Transfer traitées à la fois. L'algorithme checksum est l'algorithme File Transfer utilisé pour garantir l'intégrité des fichiers lors du transfert de fichiers.
Vous pouvez choisir entre quatre algorithmes de somme de contrôle :MD5, XXHashXXHash64, etXXH3. Il s'agit d'une préférence basée sur le niveau de sécurité et de rapidité que vous souhaitez. La méthode de somme de contrôle sécurisée la plus ancienne et la plus standard estMD5.
La valeur maximale recommandée pour les checksums actifs est le nombre total de cœurs de processeur moins 1.
