Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Performances d'Amazon FSx for Lustre
Amazon FSx for Lustre, basé sur Lustre, le célèbre système de fichiers hautes performances, fournit des performances d'évolutivité qui augmentent de façon linéaire en fonction de la taille du système de fichiers. Les systèmes de fichiers Lustre évoluent horizontalement sur plusieurs serveurs de fichiers et disques. Cette mise à l'échelle donne à chaque client un accès direct aux données stockées sur chaque disque afin de supprimer de nombreux goulots d'étranglement présents dans les systèmes de fichiers traditionnels. Amazon FSx for Lustre s'appuie sur l'architecture évolutive de Lustre pour garantir des niveaux de performance élevés à un grand nombre de clients.
Rubriques
Comment fonctionnent les systèmes de fichiers FSx for Lustre
Chaque système de fichiers FSx for Lustre comprend les serveurs de fichiers avec lesquels les clients communiquent et un ensemble de disques connectés à chaque serveur de fichiers qui stocke vos données. Chaque serveur de fichiers utilise un cache rapide en mémoire pour améliorer les performances des données les plus fréquemment consultées. Les systèmes de fichiers sur disque dur peuvent également être équipés d'un cache de lecture SSD afin d'améliorer encore les performances des données les plus fréquemment consultées. Lorsqu'un client accède à des données stockées dans le cache en mémoire ou dans le cache SSD, le serveur de fichiers n'a pas besoin de les lire sur le disque, ce qui réduit le temps de latence et augmente le débit total que vous pouvez atteindre. Le schéma suivant illustre les chemins d'une opération d'écriture, d'une opération de lecture effectuée à partir du disque et d'une opération de lecture effectuée à partir d'un cache en mémoire ou d'un cache SSD.
Lorsque vous lisez des données stockées dans le cache en mémoire ou SSD du serveur de fichiers, les performances du système de fichiers sont déterminées par le débit du réseau. Lorsque vous écrivez des données dans votre système de fichiers ou que vous lisez des données qui ne sont pas stockées dans le cache en mémoire, les performances du système de fichiers sont déterminées par la baisse du débit du réseau et du débit du disque.
Lorsque vous approvisionnez un système de fichiers HDD Lustre avec un cache SSD, Amazon FSx crée un cache SSD qui est automatiquement dimensionné à 20 % de la capacité de stockage du disque dur du système de fichiers. Cela permet d'obtenir des latences inférieures à la milliseconde et des IOPS plus élevées pour les fichiers fréquemment consultés.
Performance du système de fichiers agrégé
Le débit pris en charge par un système de fichiers FSx for Lustre est proportionnel à sa capacité de stockage. Les systèmes de fichiers Amazon FSx for Lustre peuvent atteindre des centaines de Gbit/s de débit et des millions d'IOPS. Amazon FSx for Lustre prend également en charge l'accès simultané au même fichier ou répertoire à partir de milliers d'instances de calcul. Cet accès permet de vérifier rapidement les données de la mémoire de l'application au stockage, une technique courante dans le calcul haute performance (HPC). Vous pouvez augmenter la quantité de stockage et la capacité de débit selon vos besoins à tout moment après avoir créé le système de fichiers. Pour plus d’informations, consultez Gestion de la capacité de stockage.
Les systèmes de fichiers FSx for Lustre fournissent un débit de lecture en rafale en utilisant un mécanisme de crédit d'E/S réseau pour allouer la bande passante réseau en fonction de l'utilisation moyenne de la bande passante. Les systèmes de fichiers accumulent des crédits lorsque leur utilisation de la bande passante réseau est inférieure à leurs limites de base, et peuvent utiliser ces crédits lorsqu'ils effectuent des transferts de données réseau.
Les tableaux suivants présentent les performances pour lesquelles les options de déploiement de FSx for Lustre sont conçues.
Performances du système de fichiers pour les options de stockage SSD | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Type de déploiement | Débit réseau (Mo/s/TiB de stockage provisionné) | IOPS réseau (IOPS/TiB de stockage provisionné) | Stockage en cache (GiB de RAM/TiB de stockage provisionné) | Latences du disque par opération de fichier (millisecondes, P50) | Débit du disque (Mbits/TiB de stockage ou cache SSD provisionné) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Base de référence |
Éclater |
Base de référence |
Éclater |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SCRATCH_2 | 200 | 1300 | Des dizaines de milliers de données de référence Des centaines de milliers de personnes éclatent |
6.7 |
Métadonnées : sub-ms Données : sub-ms |
200 (lire) 100 (écrire) |
‐ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-125 | 320 | 1300 | 3.4 |
125 |
500 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-250 | 640 | 1300 | 6.8 |
250 |
500 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-500 | 1300 | ‐ | 13.7 | 500 | ‐ |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-1000 | 2600 | ‐ | 27.3 | 1000 | ‐ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Performances du système de fichiers pour les options de stockage sur disque dur | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Type de déploiement | Débit réseau (Mo/s/TiB de stockage ou cache SSD provisionné) | IOPS réseau (IOPS/TiB de stockage provisionné) | Stockage en cache (GiB de RAM/TiB de stockage provisionné) | Latences du disque par opération de fichier (millisecondes, P50) | Débit du disque (Mbits/TiB de stockage ou cache SSD provisionné) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Base de référence |
Éclater |
Base de référence |
Éclater |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-12 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Stockage sur disque dur | 40 | 375* |
Des dizaines de milliers de données de référence Des centaines de milliers de personnes éclatent |
0.4 memory |
Métadonnées : sub-ms Données : ms à un chiffre |
12 |
80 (lire) 50 (écrire) |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cache de lecture SSD |
200 |
1,900 |
200 disques SSD en cache |
Données : sub-ms |
200 |
- |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-40 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Stockage sur disque dur | 150 | 1,300* |
Des dizaines de milliers de données de référence Des centaines de milliers de personnes éclatent |
1.5 |
Métadonnées : sub-ms Données : ms à un chiffre |
40 |
250 (lire) 150 (écrire) |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cache de lecture SSD |
750 |
6500 |
200 SSD cache |
Données : sub-ms |
200 |
- |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Performances du système de fichiers pour les options de stockage SSD de génération précédente | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Type de déploiement | Débit réseau (Mo/s par TiB de stockage fourni) | IOPS réseau (IOPS par TiB de stockage provisionné) | Stockage en cache (GiB par TiB de stockage provisionné) | Latences du disque par opération de fichier (millisecondes, P50) | Débit du disque (Mo/s par TiB de stockage ou de cache SSD provisionné) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Base de référence |
Éclater |
Base de référence |
Éclater |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-50 | 250 | 1,300* | Des dizaines de milliers de données de référence Des centaines de milliers de personnes éclatent |
2.2 RAM |
Métadonnées : sub-ms Données : sub-ms |
50 | 240 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-100 | 500 | 1,300* | 4.4 RAM | 100 | 240 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| PERSISTENT-200 | 750 | 1,300* | 8.8 RAM | 200 | 240 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Note
*Les systèmes de fichiers persistants suivants Régions AWS fournissent un débit de réseau pouvant atteindre 530 Mo/s par TiB de stockage : Afrique (Le Cap), Asie-Pacifique (Hong Kong), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Canada (centre), Europe (Francfort), Europe (Londres), Europe (Milan), Europe (Stockholm), Moyen-Orient (Bahreïn), Amérique du Sud (São Paulo), Chine et ouest des États-Unis (Los Angeles).
Note
L'option de déploiement SCRATCH_1 de FSx for Lustre a été conçue pour prendre en charge 200 Mo/s/TiB.
Exemple : base de référence agrégée et débit en rafale
L'exemple suivant illustre l'impact de la capacité de stockage et du débit du disque sur les performances du système de fichiers.
Un système de fichiers persistant avec une capacité de stockage de 4,8 TiB et un débit de 50 Mo/s par TiB par unité de stockage fournit un débit de base agrégé de 240 Mo/s et un débit de disque en rafale de 1,152 Go/s.
Quelle que soit la taille du système de fichiers, Amazon FSx for Lustre fournit des latences constantes inférieures à la milliseconde pour les opérations sur les fichiers.
Disposition du stockage du système de fichiers
Toutes les données des fichiers dans Lustre sont stockées sur des volumes de stockage appelés cibles de stockage d'objets (OST). Toutes les métadonnées des fichiers (y compris les noms de fichiers, les horodatages, les autorisations, etc.) sont stockées sur des volumes de stockage appelés cibles de métadonnées (MDT). Les systèmes de fichiers Amazon FSx for Lustre sont composés d'un seul MDT et de plusieurs OST. La taille de chaque OST est d'environ 1 à 2 TiB, selon le type de déploiement du système de fichiers. Amazon FSx for Lustre répartit les données de vos fichiers sur les OST qui constituent votre système de fichiers afin d'équilibrer la capacité de stockage avec le débit et la charge IOPS.
Pour afficher l'utilisation du stockage par le MDT et les OST qui constituent votre système de fichiers, exécutez la commande suivante à partir d'un client sur lequel le système de fichiers est monté.
lfs df -hmount/path
La sortie de cette commande ressemble à ce qui suit.
UUID bytes Used Available Use% Mounted onmountname-MDT0000_UUID 68.7G 5.4M 68.7G 0% /fsx[MDT:0]mountname-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0]mountname-OST0001_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:1] filesystem_summary: 2.2T 9.0M 2.2T 0% /fsx
Découpage des données dans votre système de fichiers
Vous pouvez optimiser les performances de débit de votre système de fichiers grâce au découpage des fichiers. Amazon FSx for Lustre répartit automatiquement les fichiers entre les OST afin de garantir que les données sont servies depuis tous les serveurs de stockage. Vous pouvez appliquer le même concept au niveau des fichiers en configurant la manière dont les fichiers sont répartis sur plusieurs OST.
Le striping signifie que les fichiers peuvent être divisés en plusieurs morceaux qui sont ensuite stockés sur différents OST. Lorsqu'un fichier est réparti entre plusieurs OST, les demandes de lecture ou d'écriture adressées au fichier sont réparties entre ces OST, ce qui augmente le débit agrégé ou le nombre d'IOPS que vos applications peuvent traiter par ce dernier.
Voici les mises en page par défaut pour les systèmes de fichiers Amazon FSx for Lustre.
Pour les systèmes de fichiers créés avant le 18 décembre 2020, la mise en page par défaut indique un nombre de bandes de 1. Cela signifie qu'à moins qu'une disposition différente ne soit spécifiée, chaque fichier créé dans Amazon FSx for Lustre à l'aide d'outils Linux standard est stocké sur un seul disque.
Pour les systèmes de fichiers créés après le 18 décembre 2020, la mise en page par défaut est une mise en page progressive dans laquelle les fichiers de moins de 1 Go sont stockés sur une bande, tandis que les fichiers plus volumineux se voient attribuer un nombre de bandes de 5.
Pour les systèmes de fichiers créés après le 25 août 2023, la mise en page par défaut est une mise en page progressive à 4 composants, comme expliqué dansMises en page de fichiers progressives.
Pour tous les systèmes de fichiers, quelle que soit leur date de création, les fichiers importés depuis Amazon S3 n'utilisent pas la mise en page par défaut, mais celle des
ImportedFileChunkSizeparamètres du système de fichiers. Les fichiers importés au format S3 plus grands que leImportedFileChunkSizeseront stockés sur plusieurs OST avec un nombre de bandes de.(FileSize / ImportedFileChunksize) + 1La valeur par défaut deImportedFileChunkSizeest 1 GiB.
Vous pouvez afficher la configuration de mise en page d'un fichier ou d'un répertoire à l'aide de la lfs getstripe commande.
lfs getstripepath/to/filename
Cette commande indique le nombre de bandes, la taille des bandes et le décalage des bandes d'un fichier. Le nombre de bandes correspond au nombre d'OST sur lesquels le fichier est réparti par bandes. La taille de bande correspond à la quantité de données continues stockées sur un OST. Le décalage de bande est l'indice du premier OST sur lequel le fichier est réparti par bandes.
Modification de votre configuration de striping
Les paramètres de mise en page d'un fichier sont définis lors de sa création initiale. Utilisez la lfs setstripe commande pour créer un nouveau fichier vide avec une mise en page spécifiée.
lfs setstripefilename--stripe-countnumber_of_OSTs
La lfs setstripe commande affecte uniquement la mise en page d'un nouveau fichier. Utilisez-le pour définir la mise en page d'un fichier avant de le créer. Vous pouvez également définir la mise en page d'un répertoire. Une fois définie dans un répertoire, cette mise en page est appliquée à chaque nouveau fichier ajouté à ce répertoire, mais pas aux fichiers existants. Tout nouveau sous-répertoire que vous créez hérite également de la nouvelle mise en page, qui est ensuite appliquée à tout nouveau fichier ou répertoire que vous créez dans ce sous-répertoire.
Pour modifier la mise en page d'un fichier existant, utilisez la lfs migrate commande. Cette commande copie le fichier selon les besoins pour distribuer son contenu conformément à la mise en page que vous spécifiez dans la commande. Par exemple, les fichiers ajoutés ou dont la taille est augmentée ne modifient pas le nombre de bandes. Vous devez donc les migrer pour modifier la mise en page du fichier. Vous pouvez également créer un nouveau fichier à l'aide de la lfs setstripe commande pour définir sa mise en page, copier le contenu d'origine dans le nouveau fichier, puis renommer le nouveau fichier pour remplacer le fichier d'origine.
Dans certains cas, la configuration de mise en page par défaut n'est pas optimale pour votre charge de travail. Par exemple, un système de fichiers comportant des dizaines d'OST et un grand nombre de fichiers de plusieurs gigaoctets peut améliorer ses performances en répartissant les fichiers sur un nombre de bandes supérieur à la valeur par défaut de cinq OST. La création de fichiers volumineux avec un faible nombre de bandes peut entraîner une baisse des performances d'E/S et peut également entraîner le remplissage des OST. Dans ce cas, vous pouvez créer un répertoire avec un plus grand nombre de bandes pour ces fichiers.
La configuration d'une mise en page par bandes pour les fichiers volumineux (en particulier les fichiers dont la taille est supérieure à un gigaoctet) est importante pour les raisons suivantes :
Améliore le débit en permettant à plusieurs OST et à leurs serveurs associés de contribuer aux IOPS, à la bande passante réseau et aux ressources du processeur lors de la lecture et de l'écriture de fichiers volumineux.
Réduit le risque qu'un petit sous-ensemble d'OST devienne un point névralgique limitant les performances globales de la charge de travail.
Empêche un seul fichier volumineux de remplir un fichier OST, ce qui peut provoquer des erreurs de saturation du disque.
Il n'existe pas de configuration de mise en page optimale unique pour tous les cas d'utilisation. Pour obtenir des conseils détaillés sur la mise en page des fichiers, consultez la section Gestion de la mise en page des fichiers (striping) et de l'espace libre
La mise en page par bandes est particulièrement importante pour les fichiers volumineux, en particulier pour les cas d'utilisation où les fichiers ont généralement une taille de plusieurs centaines de mégaoctets ou plus. Pour cette raison, la mise en page par défaut d'un nouveau système de fichiers assigne un nombre de bandes de cinq pour les fichiers de plus de 1 Go.
Le nombre de bandes est le paramètre de mise en page que vous devez ajuster pour les systèmes prenant en charge des fichiers volumineux. Le nombre de bandes indique le nombre de volumes OST qui contiendront des fragments d'un fichier par bandes. Par exemple, avec un nombre de bandes de 2 et une taille de bande de 1 Mo, Lustre écrit des segments alternatifs de 1 Mo d'un fichier sur chacun des deux OST.
Le nombre de bandes effectif est le moins élevé entre le nombre réel de volumes OST et la valeur du nombre de bandes que vous spécifiez. Vous pouvez utiliser la valeur spéciale du nombre de bandes
-1pour indiquer que les bandes doivent être placées sur tous les volumes OST.La définition d'un grand nombre de bandes pour les petits fichiers n'est pas optimale, car pour certaines opérations, Lustre nécessite un aller-retour en réseau pour chaque OST de la mise en page, même si le fichier est trop petit pour consommer de l'espace sur tous les volumes OST.
Vous pouvez configurer une mise en page progressive (PFL) qui permet à la mise en page d'un fichier de changer en fonction de sa taille. Une configuration PFL peut simplifier la gestion d'un système de fichiers comportant une combinaison de gros et de petits fichiers sans que vous ayez à définir explicitement une configuration pour chaque fichier. Pour plus d’informations, consultez Mises en page de fichiers progressives.
La taille de bande par défaut est de 1 Mo. La définition d'un décalage de bande peut être utile dans des circonstances particulières, mais en général, il est préférable de ne pas le spécifier et d'utiliser la valeur par défaut.
Mises en page de fichiers progressives
Vous pouvez définir une configuration PFL (Progressive File Layout) pour un répertoire afin de définir différentes configurations de bandes pour les petits et les grands fichiers avant de le remplir. Par exemple, vous pouvez définir un PFL dans le répertoire de premier niveau avant que les données ne soient écrites dans un nouveau système de fichiers.
Pour spécifier une configuration PFL, utilisez la lfs setstripe commande avec des -E options pour spécifier les composants de mise en page pour des fichiers de tailles différentes, comme la commande suivante :
lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32/mountname/directory
Cette commande définit quatre composants de mise en page :
Le premier composant (
-E 100M -c 1) indique une valeur de nombre de bandes de 1 pour les fichiers d'une taille maximale de 100 Mo.Le deuxième composant (
-E 10G -c 8) indique un nombre de bandes de 8 pour les fichiers d'une taille maximale de 10 Go.Le troisième composant (
-E 100G -c 16) indique un nombre de bandes de 16 pour les fichiers d'une taille maximale de 100 Go.Le quatrième composant (
-E -1 -c 32) indique un nombre de bandes de 32 pour les fichiers de plus de 100 Go.
Important
L'ajout de données à un fichier créé avec une mise en page PFL remplira tous ses composants de mise en page. Par exemple, avec la commande à 4 composants illustrée ci-dessus, si vous créez un fichier de 1 Mo puis que vous ajoutez des données à la fin de celui-ci, la mise en page du fichier s'étendra pour atteindre un nombre de bandes de -1, ce qui correspond à tous les OST du système. Cela ne signifie pas que les données seront écrites sur chaque OST, mais une opération telle que la lecture de la longueur du fichier enverra une demande en parallèle à chaque OST, alourdissant ainsi considérablement la charge réseau du système de fichiers.
Veillez donc à limiter le nombre de bandes pour tout fichier de petite ou moyenne longueur auquel des données peuvent être ajoutées ultérieurement. Étant donné que les fichiers journaux augmentent généralement lorsque de nouveaux enregistrements sont ajoutés, Amazon FSx for Lustre attribue un nombre de bandes par défaut de 1 à tout fichier créé en mode ajout, quelle que soit la configuration de bande par défaut spécifiée par son répertoire parent.
La configuration PFL par défaut sur les systèmes de fichiers Amazon FSx for Lustre créés après le 25 août 2023 est définie à l'aide de cette commande :
lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32/mountname
Les clients dont les charges de travail nécessitent un accès simultané élevé à des fichiers de taille moyenne et importante bénéficieront probablement d'une mise en page comportant davantage de bandes pour les fichiers de plus petite taille et de bandes sur tous les OST pour les fichiers les plus volumineux, comme le montre l'exemple de mise en page à quatre composants.
Surveillance des performances et de l'utilisation
Chaque minute, Amazon FSx for Lustre envoie des statistiques d'utilisation pour chaque disque (MDT et OST) à Amazon. CloudWatch
Pour consulter les détails de l'utilisation globale du système de fichiers, vous pouvez consulter la statistique Sum de chaque métrique. Par exemple, la somme des DataReadBytes statistiques indique le débit de lecture total observé par tous les OST d'un système de fichiers. De même, la somme des FreeDataStorageCapacity statistiques indique la capacité de stockage totale disponible pour les données de fichiers dans le système de fichiers.
Pour plus d'informations sur la surveillance des performances de votre système de fichiers, consultezSurveillance d'Amazon FSx for Lustre.
Conseils sur les performances
Lorsque vous utilisez Amazon FSx for Lustre, tenez compte des conseils de performance suivants. Pour les limites de service, voirQuotas.
-
Taille moyenne des E/S : Amazon FSx for Lustre étant un système de fichiers réseau, chaque opération sur les fichiers passe par un aller-retour entre le client et Amazon FSx for Lustre, ce qui entraîne une légère surcharge de latence. En raison de cette faible latence par opération, le débit global augmente généralement avec la taille d'E/S moyenne, les frais généraux étant amortis sur un plus grand volume de données.
-
Modèle de demande — En activant les écritures asynchrones sur votre système de fichiers, les opérations d'écriture en attente sont mises en mémoire tampon sur l'instance Amazon EC2 avant d'être écrites sur Amazon FSx for Lustre de manière asynchrone. Les écritures asynchrones ont généralement des latences Moindres. Lors de l'exécution d'écritures asynchrones, le noyau utilise de la mémoire supplémentaire pour la mise en cache. Un système de fichiers qui a activé les écritures synchrones envoie des demandes synchrones à Amazon FSx for Lustre. Chaque opération fait l'objet d'un aller-retour entre le client et Amazon FSx for Lustre.
Note
Le Modèle de requête que vous avez choisi fera des compromis en termes de cohérence (si vous utilisez plusieurs instances Amazon EC2) et de vitesse.
-
Instances Amazon EC2 : les applications qui effectuent un grand nombre d'opérations de lecture et d'écriture ont probablement besoin de plus de mémoire ou de capacité de calcul que les applications qui n'en exécutent pas. Lorsque vous lancez vos instances Amazon EC2 pour votre charge de travail gourmande en ressources informatiques, choisissez des types d'instances dotés de la quantité de ressources dont votre application a besoin. Les caractéristiques de performance des systèmes de fichiers Amazon FSx for Lustre ne dépendent pas de l'utilisation d'instances optimisées pour Amazon EBS.
-
Réglage recommandé des instances clientes pour des performances optimales
Pour tous les types et toutes les tailles d'instances clientes, nous recommandons d'appliquer les réglages suivants :
sudo lctl set_param osc.*.max_dirty_mb=64Pour les types d'instances clientes dont la mémoire est supérieure à 64 GiB, nous recommandons d'appliquer les réglages suivants :
lctl set_param ldlm.namespaces.*.lru_max_age=600000Pour les types d'instances clientes comportant plus de 64 cœurs de vCPU, nous recommandons d'appliquer les réglages suivants :
echo "options ptlrpc ptlrpcd_per_cpt_max=32" >> /etc/modprobe.d/modprobe.conf echo "options ksocklnd credits=2560" >> /etc/modprobe.d/modprobe.conf # reload all kernel modules to apply the above two settings sudo rebootUne fois le client monté, les réglages suivants doivent être appliqués :
sudo lctl set_param osc.*OST*.max_rpcs_in_flight=32 sudo lctl set_param mdc.*.max_rpcs_in_flight=64 sudo lctl set_param mdc.*.max_mod_rpcs_in_flight=50
Notez qu'il
lctl set_paramest connu pour ne pas persister après le redémarrage. Comme ces paramètres ne peuvent pas être définis de façon permanente du côté client, il est recommandé d'implémenter une tâche cron de démarrage pour définir la configuration avec les réglages recommandés. -
Équilibre de la charge de travail entre les OST : dans certains cas, votre charge de travail ne détermine pas le débit global que votre système de fichiers peut fournir (200 Mo/s par TiB de stockage). Si tel est le cas, vous pouvez utiliser CloudWatch des métriques pour déterminer si les performances sont affectées par un déséquilibre des modèles d'E/S de votre charge de travail. Pour déterminer si cela en est la cause, consultez la CloudWatch métrique maximale pour Amazon FSx for Lustre.
Dans certains cas, cette statistique indique une charge égale ou supérieure à 240 Mo/s de débit (la capacité de débit d'un seul disque Amazon FSx for Lustre de 1,2 To). Dans de tels cas, votre charge de travail n'est pas uniformément répartie sur vos disques. Dans ce cas, vous pouvez utiliser la
lfs setstripecommande pour modifier le découpage des fichiers auxquels votre charge de travail accède le plus fréquemment. Pour des performances optimales, répartissez les fichiers présentant des exigences de débit élevées sur tous les OST composant votre système de fichiers.Si vos fichiers sont importés depuis un référentiel de données, vous pouvez adopter une autre approche pour répartir vos fichiers haut débit de manière uniforme sur tous vos OST. Pour ce faire, vous pouvez modifier le
ImportedFileChunkSizeparamètre lors de la création de votre prochain système de fichiers Amazon FSx for Lustre.Supposons, par exemple, que votre charge de travail utilise un système de fichiers de 7 To (composé de 6 OST de 1,17 To) et doive générer un débit élevé sur des fichiers de 2,4 Go. Dans ce cas, vous pouvez définir la
ImportedFileChunkSizevaleur de(2.4 GiB / 6 OSTs) = 400 MiBtelle sorte que vos fichiers soient répartis uniformément sur les OST de votre système de fichiers.
