Compression de données Lustre - FSxpour Lustre
Gestion de la compression des donnéesCompression de fichiers déjà écritsAffichage de la taille des fichiersUtilisation de CloudWatch métriques

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Compression de données Lustre

Vous pouvez utiliser la fonction de compression de données Lustre pour réaliser des économies sur vos systèmes de fichiers et de stockage de sauvegarde hautes performances Amazon FSx for Lustre. Lorsque la compression des données est activée, Amazon FSx for Lustre compresse automatiquement les fichiers nouvellement écrits avant qu'ils ne soient écrits sur le disque et les décompresse automatiquement lors de leur lecture.

La compression des données utilise l'algorithme LZ4, qui est optimisé pour fournir des niveaux de compression élevés sans nuire aux performances du système de fichiers. LZ4 est un algorithme éprouvé par la communauté Lustre et axé sur les performances qui fournit un équilibre entre la vitesse de compression et la taille du fichier compressé. L'activation de la compression des données n'a généralement pas d'impact mesurable sur la latence.

La compression des données réduit la quantité de données transférées entre les serveurs de fichiers Amazon FSx for Lustre et le stockage. Si vous n'utilisez pas encore de formats de fichiers compressés, vous constaterez une augmentation de la capacité de débit globale du système de fichiers lors de la compression des données. Les augmentations de capacité de débit liées à la compression des données seront plafonnées une fois que vous aurez saturé vos cartes d'interface réseau frontales.

Par exemple, si votre système de fichiers est un type de déploiement SSD PERSISTENT-50, le débit de votre réseau a une base de référence de 250 Mo/s par TiB de stockage. Le débit de votre disque a une valeur de référence de 50 Mo/s par TiB. Avec la compression des données, le débit de votre disque peut passer de 50 Mo/s par TiB à un maximum de 250 Mo/s par TiB, qui est la limite de débit réseau de base. Pour plus d'informations sur les limites de débit du réseau et du disque, consultez les tableaux de performances du système de fichiers dansPerformance du système de fichiers agrégé. Pour plus d'informations sur les performances de compression des données, consultez le billet Dépensez moins tout en augmentant les performances avec Amazon FSx for Lustre sur AWS le blog de stockage.

Gestion de la compression des données

Vous pouvez activer ou désactiver la compression des données lors de la création d'un nouveau système de fichiers Amazon FSx for Lustre. La compression des données est désactivée par défaut lorsque vous créez un système de fichiers Amazon FSx for Lustre à partir de la console AWS CLI ou de l'API.

  1. Ouvrez la console Amazon FSx à l'adresse https://console.aws.amazon.com/fsx/.

  2. Suivez la procédure de création d'un nouveau système de fichiers décrite Étape 1 : Créez votre système de fichiers FSx for Lustre dans la section Démarrage.

  3. Dans la section Détails du système de fichiers, pour Type de compression de données, choisissez LZ4.

  4. Complétez l'assistant comme vous le faites lorsque vous créez un nouveau système de fichiers.

  5. Choisissez Review and create.

  6. Passez en revue les paramètres que vous avez choisis pour votre système de fichiers Amazon FSx for Lustre, puis choisissez Create file system.

Lorsque le système de fichiers est disponible, la compression des données est activée.

  • Pour créer un système de fichiers FSx for Lustre avec la compression des données activée, utilisez la create-file-systemcommande Amazon FSx CLI avec DataCompressionType le paramètre, comme indiqué ci-dessous. L'opération d'API correspondante est CreateFileSystem.

    $ aws fsx create-file-system \
      --client-request-token CRT1234 \
      --file-system-type LUSTRE \
      --file-system-type-version 2.12 \
      --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \
      --storage-capacity 3600 \
      --subnet-ids subnet-123456 \
      --tags Key=Name,Value=Lustre-TEST-1 \
      --region us-east-2

Une fois le système de fichiers créé avec succès, Amazon FSx renvoie la description du système de fichiers au format JSON, comme illustré dans l'exemple suivant.

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Vous pouvez également modifier la configuration de compression des données de vos systèmes de fichiers existants. Lorsque vous activez la compression des données pour un système de fichiers existant, seuls les fichiers nouvellement écrits sont compressés et les fichiers existants ne le sont pas. Pour plus d’informations, consultez Compression de fichiers déjà écrits.

  1. Ouvrez la console Amazon FSx à l'adresse https://console.aws.amazon.com/fsx/.

  2. Accédez à Systèmes de fichiers, puis choisissez le système de fichiers Lustre pour lequel vous souhaitez gérer la compression des données.

  3. Pour Actions, sélectionnez Mettre à jour le type de compression des données.

  4. Dans la boîte de dialogue Mettre à jour le type de compression des données, choisissez LZ4 pour activer la compression des données, ou NONE pour la désactiver.

  5. Choisissez Mettre à jour.

  6. Vous pouvez suivre la progression de la mise à jour sur la page détaillée des systèmes de fichiers dans l'onglet Mises à jour.

Pour mettre à jour la configuration de compression des données pour un système de fichiers FSx for Lustre existant, utilisez AWS CLI la update-file-systemcommande. Définissez les paramètres suivants :

  • --file-system-idDéfini sur l'ID du système de fichiers que vous mettez à jour.

  • Réglez sur --lustre-configuration DataCompressionType NONE pour désactiver la compression des données ou LZ4 pour activer la compression des données avec l'algorithme LZ4.

Cette commande indique que la compression des données est activée avec l'algorithme LZ4.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Configuration de la compression des données lors de la création d'un système de fichiers à partir d'une sauvegarde

Vous pouvez utiliser une sauvegarde disponible pour créer un nouveau système de fichiers Amazon FSx for Lustre. Lorsque vous créez un nouveau système de fichiers à partir d'une sauvegarde, il n'est pas nécessaire de le spécifier DataCompressionType ; le paramètre sera appliqué à l'aide du DataCompressionType paramètre de sauvegarde. Si vous choisissez de le spécifier DataCompressionType lors de la création à partir d'une sauvegarde, la valeur doit correspondre au DataCompressionType paramètre de la sauvegarde.

Pour consulter les paramètres d'une sauvegarde, sélectionnez-la dans l'onglet Sauvegardes de la console Amazon FSx. Les détails de la sauvegarde seront répertoriés sur la page de résumé de la sauvegarde. Vous pouvez également exécuter la describe-backups AWS CLI commande (l'action d'API équivalente est DescribeBackups).

Compression de fichiers déjà écrits

Les fichiers ne sont pas compressés s'ils ont été créés lorsque la compression des données a été désactivée sur le système de fichiers Amazon FSx for Lustre. L'activation de la compression des données ne compresse pas automatiquement vos données non compressées existantes.

Vous pouvez utiliser la lfs_migrate commande installée dans le cadre de l'installation du client Lustre pour compresser des fichiers existants. Pour un exemple, consultez la section Compression FSXL qui est disponible sur. GitHub

Affichage de la taille des fichiers

Vous pouvez utiliser les commandes suivantes pour afficher les tailles non compressées et compressées de vos fichiers et répertoires.

  • duaffiche les tailles compressées.

  • du --apparent-sizeaffiche les tailles non compressées.

  • ls -laffiche les tailles non compressées.

Les exemples suivants montrent le résultat de chaque commande avec le même fichier.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

L'-hoption est utile pour ces commandes car elle imprime les tailles dans un format lisible par l'homme.

Utilisation de CloudWatch métriques

Vous pouvez utiliser CloudWatch les métriques Amazon Logs pour consulter l'utilisation de votre système de fichiers. La LogicalDiskUsage métrique indique l'utilisation totale du disque logique (sans compression), et la PhysicalDiskUsage métrique indique l'utilisation totale du disque physique (avec compression). Ces deux mesures ne sont disponibles que si la compression des données est activée sur votre système de fichiers ou si elle était déjà activée.

Vous pouvez déterminer le taux de compression de votre système de fichiers en divisant le chiffre Sum de la LogicalDiskUsage statistique par celui Sum de la PhysicalDiskUsage statistique. Pour plus d'informations sur l'utilisation des mathématiques métriques pour calculer ce ratio, consultezMathématiques métriques : taux de compression des données.

Pour plus d'informations sur la surveillance des performances de votre système de fichiers, consultezSurveillance d'Amazon FSx for Lustre.