SharedStorage Section - AWS ParallelCluster

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

SharedStorage Section

(Facultatif) Les paramètres de stockage partagé pour le cluster.

AWS ParallelCluster prend en charge l'utilisation d'Amazon EBS, FSx for ONTAP et FSx pour lesvolumes de stockage partagés OpenZFS, d'Amazon EFS et FSx pourles systèmes de fichiers de stockage partagé Lustre ou de caches de fichiers.

Dans SharedStorage cette section, vous pouvez définir le stockage externe ou géré :

  • Le stockage externe fait référence à un volume ou à un système de fichiers existant que vous gérez. AWS ParallelCluster ne le crée ni ne le supprime.

  • AWS ParallelCluster le stockage géré fait référence à un volume ou à un système de fichiers AWS ParallelCluster créé et pouvant être supprimé.

Pour les quotas de stockage partagé et plus d'informations sur la configuration de votre stockage partagé, consultez Stockage partagé la section Utilisation AWS ParallelCluster.

Note

S'il AWS Batch est utilisé comme planificateur, FSx for Lustre n'est disponible que sur le nœud principal du cluster.

SharedStorage: - MountDir: string Name: string StorageType: Ebs EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string Throughput: integer VolumeId: string DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer - MountDir: string Name: string StorageType: Efs EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string - MountDir: string Name: string StorageType: FsxLustre FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string KmsKeyId: string FileSystemId: string AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string DataRepositoryAssociations: - Name: string BatchImportMetaDataOnCreate: boolean DataRepositoryPath: string FileSystemPath: string ImportedFileChunkSize: integer AutoExportPolicy: string AutoImportPolicy: string - MountDir: string Name: string StorageType: FsxOntap FsxOntapSettings: VolumeId: string - MountDir: string Name: string StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId: string - MountDir: string Name: string StorageType: FileCache FileCacheSettings: FileCacheId: string

SharedStoragepolitiques de mise à jour

Propriétés de SharedStorage

MountDir(Obligatoire,String)

Le chemin où le stockage partagé est monté.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Name(Obligatoire,String)

Le nom du stockage partagé. Vous utilisez ce nom lorsque vous mettez à jour les paramètres.

Avertissement

Si vous spécifiez le stockage partagé AWS ParallelCluster géré et que vous modifiez la valeur pourName, le stockage partagé géré et les données existants sont supprimés et un nouveau stockage partagé géré est créé. La modification de la valeur pour lors Name d'une mise à jour du cluster revient à remplacer le stockage partagé géré existant par un nouveau. Assurez-vous de sauvegarder vos données avant de les modifier Name si vous devez conserver les données du stockage partagé existant.

Politique de mise à jour : pour ce paramètre de valeurs de liste, le parc de calcul QueueUpdateStrategydoit être arrêté ou configuré pour ajouter une nouvelle valeur ; le parc de calcul doit être arrêté lors de la suppression d'une valeur existante.

StorageType(Obligatoire,String)

Type de stockage partagé. Les valeurs prises en charge sont Ebs EfsFsxLustre,FsxOntap,, etFsxOpenZfs.

Pour plus d’informations, consultez FsxLustreSettings, FsxOntapSettings et FsxOpenZfsSettings.

Note

Si vous l'utilisez AWS Batch comme planificateur, FSx for Lustre n'est disponible que sur le nœud principal du cluster.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

EbsSettings

(Facultatif) Les paramètres d'un volume Amazon EBS.

EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string VolumeId: string Throughput: integer DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Propriétés de EbsSettings

Lorsque le DeletionPolicyparamètre est défini surDelete, un volume géré, avec ses données, est supprimé si le cluster est supprimé ou si le volume est supprimé lors d'une mise à jour du cluster.

Pour plus d'informations, voir Stockage partagé la section Utilisation AWS ParallelCluster.

VolumeType(Facultatif,String)

Spécifie le type de volume Amazon EBS. Les valeurs prises en charge sont gp2 gp3io1,io2,sc1,st1, etstandard. La valeur par défaut est gp3.

Pour plus d'informations, consultez Types de volumes Amazon EBS dans le Guide de l'utilisateur Amazon EC2.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Iops(Facultatif,Integer)

Définit le nombre d'IOPS pour io1io2, et le gp3 type de volumes.

La valeur par défaut, les valeurs prises en charge et volume_iops le volume_size ratio de production varient selon VolumeType etSize.

VolumeType = io1

Valeur par défaut Iops = 100

Valeurs prises en charge Iops = 100—64 000 †

volume_sizeRapport volume_iops maximum = 50 IOPS pour chaque GiB. 5000 IOPS nécessitent au volume_size moins 100 GiB.

VolumeType = io2

Valeur par défaut Iops = 100

Valeurs prises en charge Iops = 100 à 64 000 (256 000 pour les volumes io2 Block Express) †

SizeRapport Iops maximum = 500 IOPS pour chaque GiB. 5000 IOPS nécessitent au Size moins 10 GiB.

VolumeType = gp3

Valeur par défaut Iops = 3000

Valeurs prises en charge Iops = 3000 à 16 000

SizeRapport Iops maximum = 500 IOPS pour chaque GiB. 5000 IOPS nécessitent au Size moins 10 GiB.

† Le maximum d'IOPS est garanti uniquement sur les instances basées sur le système Nitro et approvisionnées avec plus de 32 000 IOPS. Les autres instances garantissent jusqu'à 32 000 IOPS. À moins que vous ne modifiiez le volume, io1 les volumes antérieurs risquent de ne pas atteindre leurs performances optimales. io2 Les volumes Block Express prennent en charge volume_iops des valeurs allant jusqu'à 256 000 pour les types d'R5binstances. Pour plus d'informations, consultez la section sur les volumes io2 Block Express dans le guide de l'utilisateur Amazon EC2.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

Size(Facultatif,Integer)

Spécifie la taille du volume en gibioctets (GiB). La valeur par défaut est 35.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Encrypted(Facultatif,Boolean)

Spécifie si le volume est chiffré. La valeur par défaut est true.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

KmsKeyId(Facultatif,String)

Spécifie une AWS KMS clé personnalisée à utiliser pour le chiffrement. Ce paramètre nécessite qu'il soit défini surtrue. Encrypted

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

SnapshotId(Facultatif,String)

Spécifie l'ID du snapshot Amazon EBS si vous utilisez un instantané comme source pour le volume.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

VolumeId(Facultatif,String)

Spécifie l'ID du volume Amazon EBS. Lorsque cela est spécifié pour une EbsSettings instance, seul le MountDir paramètre peut également être spécifié.

Le volume doit être créé dans la même zone de disponibilité que leHeadNode.

Note

Plusieurs zones de disponibilité ont été ajoutées dans la AWS ParallelCluster version 3.4.0.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Throughput(Facultatif,Integer)

Débit, en Mbits/s à provisionner pour un volume, avec un maximum de 1 000 Mbits/s.

Ce paramètre n'est valide que lorsqu'il l'VolumeTypeestgp3. La plage prise en charge est comprise entre 125 et 1 000, avec une valeur par défaut de 125.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

DeletionPolicy(Facultatif,String)

Spécifie si le volume doit être conservé, supprimé ou capturé en instantané lorsque le cluster est supprimé ou que le volume est supprimé. Les valeurs prises en charge sont DeleteRetain, etSnapshot. La valeur par défaut est Delete.

Lorsque ce paramètre est DeletionPolicydéfini surDelete, un volume géré, avec ses données, est supprimé si le cluster est supprimé ou si le volume est supprimé lors d'une mise à jour du cluster.

Pour plus d’informations, consultez Stockage partagé.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

Note

DeletionPolicyest pris en charge à partir de AWS ParallelCluster la version 3.2.0.

Raid

(Facultatif) Définit la configuration d'un volume RAID.

Raid: Type: string NumberOfVolumes: integer

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Propriétés de Raid

Type(Obligatoire,String)

Définit le type de matrice RAID. Les valeurs prises en charge sont « 0 » (rayé) et « 1 » (en miroir).

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

NumberOfVolumes(Facultatif,Integer)

Définit le nombre de volumes Amazon EBS à utiliser pour créer la matrice RAID. La plage de valeurs prise en charge est comprise entre 2 et 5. La valeur par défaut (lorsque le Raid paramètre est défini) est 2.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

EfsSettings

(Facultatif) Les paramètres d'un système de fichiers Amazon EFS.

EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Propriétés de EfsSettings

Lorsque ce paramètre est DeletionPolicydéfini surDelete, un système de fichiers géré, avec ses données, est supprimé si le cluster est supprimé ou si le système de fichiers est supprimé lors d'une mise à jour du cluster.

Pour plus d'informations, voir Stockage partagé la section Utilisation AWS ParallelCluster.

Encrypted(Facultatif,Boolean)

Spécifie si le système de fichiers Amazon EFS est chiffré. La valeur par défaut est false.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

KmsKeyId(Facultatif,String)

Spécifie une AWS KMS clé personnalisée à utiliser pour le chiffrement. Ce paramètre nécessite qu'il soit défini surtrue. Encrypted

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

EncryptionInTransit(Facultatif,Boolean)

S'il est défini surtrue, les systèmes de fichiers Amazon EFS sont montés à l'aide du protocole TLS (Transport Layer Security). Par défaut, ce paramètre est défini surfalse.

Note

S'il AWS Batch est utilisé comme planificateur, il EncryptionInTransit n'est pas pris en charge.

Note

EncryptionInTransitest ajouté à partir de AWS ParallelCluster la version 3.4.0.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

IamAuthorization(Facultatif,Boolean)

Si ce paramètre est défini surtrue, Amazon EFS est authentifié à l'aide de l'identité IAM du système. Par défaut, ce paramètre est défini surfalse.

Note

Si IamAuthorization est défini sur true, EncryptionInTransit doit également être défini sur true.

Note

S'il AWS Batch est utilisé comme planificateur, il IamAuthorization n'est pas pris en charge.

Note

IamAuthorizationest ajouté à partir de AWS ParallelCluster la version 3.4.0.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

PerformanceMode(Facultatif,String)

Spécifie le mode de performance du système de fichiers Amazon EFS. Les valeurs prises en charge sont generalPurpose et maxIO. La valeur par défaut est generalPurpose. Pour plus d’informations, consultez Modes de performances dans le guide de l’utilisateur Amazon Elastic File System.

Nous recommandons le mode de performance generalPurpose pour la plupart des systèmes de fichiers.

Les systèmes de fichiers qui utilisent le mode de performance maxIO peuvent évoluer vers des niveaux plus élevés de débit cumulé et d'opérations par seconde. Cependant, il existe un compromis entre des latences légèrement plus élevées pour la plupart des opérations sur les fichiers.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

ThroughputMode(Facultatif,String)

Spécifie le mode de débit du système de fichiers Amazon EFS. Les valeurs prises en charge sont bursting et provisioned. La valeur par défaut est bursting. Quand il provisioned est utilisé, ProvisionedThroughput doit être spécifié.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

ProvisionedThroughput(Obligatoire quand ThroughputMode c'est le casprovisioned,Integer)

Définit le débit provisionné (en Mbits/s) du système de fichiers Amazon EFS, mesuré en Mbits/s. Cela correspond au ProvisionedThroughputInMibpsparamètre indiqué dans la référence d'API Amazon EFS.

Si vous utilisez ce paramètre, vous devez définir ThroughputMode sur provisioned.

La plage prise en charge est de 1 -1024. Pour demander une augmentation de limite, contactez AWS Support.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

FileSystemId(Facultatif,String)

Définit l'ID du système de fichiers Amazon EFS pour un système de fichiers existant.

Si le cluster est configuré pour couvrir plusieurs zones de disponibilité, vous devez définir une cible de montage du système de fichiers dans chaque zone de disponibilité utilisée par le cluster.

Lorsque cela est spécifié, seul MountDir peut être spécifié. Aucun autre ne EfsSettings peut être spécifié.

Si vous définissez cette option, les conditions suivantes doivent être vraies pour les systèmes de fichiers que vous définissez :
  • Les systèmes de fichiers ont une cible de montage existante dans chacune des zones de disponibilité du cluster, le trafic NFS entrant et sortant étant autorisé depuis et. HeadNode ComputeNodes Plusieurs zones de disponibilité sont configurées dans Scheduling/SlurmQueues/Networking/SubnetIds.

    Pour vous assurer que le trafic est autorisé entre le cluster et le système de fichiers, vous pouvez effectuer l'une des opérations suivantes :
    • Configurez les groupes de sécurité de la cible de montage pour autoriser le trafic à destination et en provenance du CIDR ou de la liste de préfixes des sous-réseaux du cluster.

      Note

      AWS ParallelCluster valide que les ports sont ouverts et que le CIDR ou la liste de préfixes est configuré. AWS ParallelCluster ne valide pas le contenu du bloc ou de la liste de préfixes CIDR.

    • Définissez des groupes de sécurité personnalisés pour les nœuds de cluster en utilisant SlurmQueuesNetworking//SecurityGroupset HeadNode/Networking/SecurityGroups. Les groupes de sécurité personnalisés doivent être configurés pour autoriser le trafic entre le cluster et le système de fichiers.

      Note

      Si tous les nœuds du cluster utilisent des groupes de sécurité personnalisés, cela confirme AWS ParallelCluster uniquement que les ports sont ouverts. AWS ParallelCluster ne confirme pas que la source et la destination sont correctement configurées.

Avertissement

OneZone L'EFS n'est pris en charge que si tous les nœuds de calcul et le nœud principal se trouvent dans la même zone de disponibilité. L'EFS ne OneZone peut avoir qu'une seule cible de montage.

Note

Plusieurs zones de disponibilité ont été ajoutées dans la AWS ParallelCluster version 3.4.0.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

DeletionPolicy(Facultatif,String)

Spécifie si le système de fichiers doit être conservé ou supprimé lorsque le système de fichiers est supprimé du cluster ou lorsque le cluster est supprimé. Les valeurs prises en charge sont Delete et Retain. La valeur par défaut est Delete.

Lorsque le DeletionPolicyparamètre est défini surDelete, un système de fichiers géré, avec ses données, est supprimé si le cluster est supprimé ou si le système de fichiers est supprimé lors d'une mise à jour du cluster.

Pour plus d’informations, consultez Stockage partagé.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

Note

DeletionPolicyest pris en charge à partir de AWS ParallelCluster la version 3.3.0.

FsxLustreSettings

Note

Vous devez définir FsxLustreSettings s'il FsxLustre est spécifié pour StorageType.

(Facultatif) Les paramètres d'un système de fichiers FSx for Lustre.

FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string # BackupId cannot coexist with some of the fields KmsKeyId: string FileSystemId: string # FileSystemId cannot coexist with other fields AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Note

S'il AWS Batch est utilisé comme planificateur, FSx for Lustre n'est disponible que sur le nœud principal du cluster.

Propriétés de FsxLustreSettings

Lorsque le DeletionPolicyparamètre est défini surDelete, un système de fichiers géré, avec ses données, est supprimé si le cluster est supprimé ou si le système de fichiers est supprimé lors d'une mise à jour du cluster.

Pour plus d’informations, consultez Stockage partagé.

StorageCapacity(Obligatoire,Integer)

Définit la capacité de stockage du système de fichiers FSx for Lustre, en GiB. StorageCapacityest obligatoire si vous créez un nouveau système de fichiers. N'incluez pas StorageCapacity si BackupId ou FileSystemId est spécifié.

  • Pour SCRATCH_2 les PERSISTENT_1 types de PERSISTENT_2 déploiement et les types de déploiement, les valeurs valides sont 1200 GiB, 2400 GiB et des incréments de 2400 GiB.

  • Pour le type de déploiement SCRATCH_1, les valeurs valides sont 1 200 Gio, 2 400 Gio et des incréments de 3 600 Gio.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

DeploymentType(Facultatif,String)

Spécifie le type de déploiement du système de fichiers FSx for Lustre. Les valeurs prises en charge sont SCRATCH_1, SCRATCH_2, PERSISTENT_1 et PERSISTENT_2. La valeur par défaut est SCRATCH_2.

Choisissez SCRATCH_1 les types de SCRATCH_2 déploiement lorsque vous avez besoin d'un stockage temporaire et d'un traitement des données à court terme. Le type de SCRATCH_2 déploiement fournit un chiffrement des données en transit et une capacité de débit en rafale supérieure à celle deSCRATCH_1.

Choisissez PERSISTENT_1 le type de déploiement pour le stockage à long terme et pour les charges de travail axées sur le débit qui ne sont pas sensibles à la latence. PERSISTENT_1prend en charge le chiffrement des données en transit. Il est disponible partout Régions AWS où FSx for Lustre est disponible.

Choisissez PERSISTENT_2 le type de déploiement pour le stockage à long terme et pour les charges de travail sensibles à la latence qui nécessitent les plus hauts niveaux d'IOPS et de débit. PERSISTENT_2prend en charge le stockage SSD et offre une valeur supérieure PerUnitStorageThroughput (jusqu'à 1000 Mo/s/TiB). PERSISTENT_2est disponible dans un nombre limité de Régions AWS. Pour plus d'informations sur les types de déploiement et la liste des Régions AWS emplacements PERSISTENT_2 disponibles, consultez les options de déploiement du système de fichiers pour FSx for Lustre dans le guide de l'utilisateur Amazon FSx for Lustre.

Le chiffrement des données en transit est automatiquement activé lorsque vous accédez à SCRATCH_2 des systèmes de fichiers ou que vous PERSISTENT_2 déployez à partir d'instances Amazon EC2 compatibles avec cette fonctionnalité. PERSISTENT_1

Le chiffrement des données en transit pour SCRATCH_2 et les types de PERSISTENT_2 déploiement est pris en charge lorsque l'accès à partir des types d'instances pris en charge est pris en charge Régions AWS. PERSISTENT_1 Pour plus d'informations, consultez la section Chiffrement des données en transit dans le guide de l'utilisateur d'Amazon FSx for Lustre.

Note

Support pour le type de PERSISTENT_2 déploiement a été ajouté avec AWS ParallelCluster la version 3.2.0.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

ImportedFileChunkSize(Facultatif,Integer)

Pour les fichiers importés depuis un référentiel de données, cette valeur détermine le nombre de bandes et la quantité maximale de données pour chaque fichier (en MiB) stocké sur un seul disque physique. Le nombre maximal de disques sur lesquels un fichier unique peut être agrégé par bandes est limité au nombre total de disques qui composent le système de fichiers.

La taille de bloc par défaut est 1 024 Mio (1 Gio) et peut atteindre 512 000 Mio (500 Gio). Les objets Amazon S3 ont une taille maximale de 5 To.

Note

Ce paramètre n'est pas pris en charge pour les systèmes de fichiers utilisant le type de PERSISTENT_2 déploiement. Pour savoir comment configurer les associations de référentiels de données, consultez la section Lier votre système de fichiers à un compartiment S3 dans le guide de l'utilisateur d'Amazon FSx for Lustre.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

DataCompressionType(Facultatif,String)

Définit la configuration de compression des données pour le système de fichiers FSx for Lustre. La valeur prise en charge estLZ4. LZ4indique que la compression des données est activée avec l'algorithme LZ4. Lorsque DataCompressionType ce n'est pas spécifié, la compression des données est désactivée lors de la création du système de fichiers.

Pour plus d'informations, consultez la section Compression de données Lustre.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

ExportPath(Facultatif,String)

Le chemin dans Amazon S3 où la racine de votre système de fichiers FSx for Lustre est exportée. Ce paramètre n'est pris en charge que ImportPath lorsqu'il est spécifié. Le chemin doit utiliser le même compartiment Amazon S3 que celui spécifié dansImportPath. Vous pouvez fournir un préfixe facultatif vers lequel les données nouvelles et modifiées doivent être exportées depuis votre système de fichiers FSx for Lustre. Si aucune ExportPath valeur n'est fournie, FSx for Lustre définit un chemin s3://import-bucket/FSxLustre[creation-timestamp] d'exportation par défaut,. L'horodatage est au format UTC, par exemple s3://import-bucket/FSxLustre20181105T222312Z.

Le compartiment d'exportation Amazon S3 doit être le même que le compartiment d'importation spécifié par ImportPath. Si vous spécifiez uniquement un nom de compartiment, par exemples3://import-bucket, vous obtenez un mappage 1:1 des objets du système de fichiers vers les objets du compartiment Amazon S3. Ce mappage signifie que les données d'entrée dans Amazon S3 sont remplacées lors de l'exportation. Si vous fournissez un préfixe personnalisé dans le chemin d'exportation, par exemples3://import-bucket/[custom-optional-prefix], FSx for Lustre exporte le contenu de votre système de fichiers vers ce préfixe d'exportation dans le compartiment Amazon S3.

Note

Ce paramètre n'est pas pris en charge pour les systèmes de fichiers utilisant le type de PERSISTENT_2 déploiement. Configurez les associations de référentiels de données comme décrit dans la section Liaison de votre système de fichiers à un compartiment S3 dans le guide de l'utilisateur Amazon FSx for Lustre.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

ImportPath(Facultatif,String)

Le chemin d'accès au compartiment Amazon S3 (y compris le préfixe facultatif) que vous utilisez comme référentiel de données pour votre système de fichiers FSx for Lustre. La racine de votre système de fichiers FSx for Lustre sera mappée à la racine du compartiment Amazon S3 que vous sélectionnez. Par exemple : s3://import-bucket/optional-prefix. Si vous spécifiez un préfixe après le nom du compartiment Amazon S3, seules les clés d'objet comportant ce préfixe sont chargées dans le système de fichiers.

Note

Ce paramètre n'est pas pris en charge pour les systèmes de fichiers utilisant le type de PERSISTENT_2 déploiement. Configurez les associations de référentiels de données comme décrit dans la section Liaison de votre système de fichiers à un compartiment S3 dans le guide de l'utilisateur Amazon FSx for Lustre.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

WeeklyMaintenanceStartTime(Facultatif,String)

Heure de début préférée pour effectuer la maintenance hebdomadaire. Il est au "d:HH:MM" format du fuseau horaire UTC+0. Pour ce format, d il s'agit du numéro du jour de la semaine compris entre 1 et 7, commençant par le lundi et se terminant par le dimanche. Les guillemets sont obligatoires pour ce champ.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

AutomaticBackupRetentionDays(Facultatif,Integer)

Nombre de jours de conservation des sauvegardes automatiques. La définition de cette valeur sur 0 désactive les sauvegardes automatiques. La plage prise en charge est comprise entre 0 et 90. La valeur par défaut est 0. Ce paramètre n'est valide que pour une utilisation avec PERSISTENT_1 et pour les types de PERSISTENT_2 déploiement. Pour plus d'informations, consultez Utilisation des sauvegardes dans le Manuel de l’utilisateur Amazon FSx pour Lustre.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

CopyTagsToBackups(Facultatif,Boolean)

Sitrue, copiez les balises du système de fichiers FSx for Lustre dans les sauvegardes. La valeur par défaut est false. Si elle est définie sur true, toutes les balises du système de fichiers sont copiées dans toutes les sauvegardes automatiques et initiées par l'utilisateur lorsque l'utilisateur ne spécifie pas de balises. Si cette valeur est true et que vous spécifiez une ou plusieurs balises, seules les balises spécifiées sont copiées vers les sauvegardes. Si vous spécifiez une ou plusieurs balises lors de la création d'une sauvegarde initiée par l'utilisateur, aucune étiquette n'est copiée à partir du système de fichiers, quelle que soit cette valeur. Ce paramètre n'est valide que pour une utilisation avec PERSISTENT_1 et pour les types de PERSISTENT_2 déploiement.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

DailyAutomaticBackupStartTime(Facultatif,String)

Une heure quotidienne récurrente, au HH:MM format. HHest l'heure de la journée remplie de zéro (00-23). MMest la minute de l'heure remplie de zéro (00-59). Par exemple, 05:00 indique 5 h du matin tous les jours. Ce paramètre n'est valide que pour une utilisation avec PERSISTENT_1 et pour les types de PERSISTENT_2 déploiement.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

PerUnitStorageThroughput(Obligatoire pour les types PERSISTENT_1 de PERSISTENT_2 déploiement et les types de déploiement,Integer)

Décrit le débit de lecture et d'écriture pour chaque tebioctet de stockage, en Mo/s/TiB. La capacité de débit du système de fichiers est calculée en multipliant la capacité de stockage du système de fichiers (To) par le PerUnitStorageThroughput (Mo/S/To). Pour un système de fichiers de 2,4 To, l'allocation de 50 Mo/s/To de PerUnitStorageThroughput génère 120 Mo/s de débit de système de fichiers. Vous payez le débit que vous allouez. Cela correspond à la PerUnitStorageThroughputpropriété.

Valeurs valides :

  • Stockage SSD PERSISTENT_1 : 50, 100, 200 Mo/s/TiB.

  • PERSISTENT_1 Stockage sur disque dur : 12, 40 Mo/s/TiB.

  • Stockage SSD PERSISTENT_2 : 125, 250, 500, 1 000 Mo/s/TiB.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

BackupId(Facultatif,String)

Spécifie l'ID de la sauvegarde à utiliser pour restaurer le système de fichiers FSx for Lustre à partir d'une sauvegarde existante. Lorsque le BackupId paramètre est spécifié, les PerUnitStorageThroughput paramètres AutoImportPolicyDeploymentType,ExportPath,KmsKeyId,ImportPath,ImportedFileChunkSize,StorageCapacity, et ne doivent pas être spécifiés. Ces paramètres sont lus à partir de la sauvegarde. En outreAutoImportPolicy, les ImportedFileChunkSize paramètres ExportPathImportPath,, et ne doivent pas être spécifiés. Cela correspond à la BackupIdpropriété.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

KmsKeyId(Facultatif,String)

ID de l'identifiant de clé AWS Key Management Service (AWS KMS) utilisé pour chiffrer les données du système de fichiers FSx for Lustre pour les systèmes de fichiers FSx for Lustre persistants au repos. Si elle n'est pas spécifiée, la clé gérée FSx for Lustre est utilisée. Les systèmes de fichiers SCRATCH_1 et SCRATCH_2 FSx for Lustre sont toujours chiffrés au repos à l'aide des clés gérées par FSx for Lustre. Pour plus d'informations, consultez la section Chiffrer dans le guide de référence de l'AWS Key Management Service API.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

FileSystemId(Facultatif,String)

Spécifie l'ID d'un système de fichiers FSx for Lustre existant.

Si cette option est spécifiée, seuls les FileSystemId paramètres MountDir et du FsxLustreSettings sont utilisés. Tous les autres paramètres du FsxLustreSettings sont ignorés.

Note

Si le AWS Batch planificateur est utilisé, FSx for Lustre n'est disponible que sur le nœud principal.

Note

Le système de fichiers doit être associé à un groupe de sécurité qui autorise le trafic TCP entrant et sortant via les ports 988, 1021, 1022 et 1023.

Assurez-vous que le trafic est autorisé entre le cluster et le système de fichiers en effectuant l'une des opérations suivantes :

  • Configurez les groupes de sécurité du système de fichiers pour autoriser le trafic à destination et en provenance du CIDR ou de la liste de préfixes des sous-réseaux du cluster.

    Note

    AWS ParallelCluster valide que les ports sont ouverts et que le CIDR ou la liste de préfixes est configuré. AWS ParallelCluster ne valide pas le contenu du bloc ou de la liste de préfixes CIDR.

  • Définissez des groupes de sécurité personnalisés pour les nœuds de cluster en utilisant SlurmQueuesNetworking//SecurityGroupset HeadNode/Networking/SecurityGroups. Les groupes de sécurité personnalisés doivent être configurés pour autoriser le trafic entre le cluster et le système de fichiers.

    Note

    Si tous les nœuds du cluster utilisent des groupes de sécurité personnalisés, cela confirme AWS ParallelCluster uniquement que les ports sont ouverts. AWS ParallelCluster ne confirme pas que la source et la destination sont correctement configurées.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

AutoImportPolicy(Facultatif,String)

Lorsque vous créez votre système de fichiers FSx for Lustre, vos objets Amazon S3 existants apparaissent sous forme de listes de fichiers et de répertoires. Utilisez cette propriété pour choisir comment FSx for Lustre met à jour vos listes de fichiers et de répertoires lorsque vous ajoutez ou modifiez des objets dans votre compartiment Amazon S3 associé. AutoImportPolicypeut avoir les valeurs suivantes :

  • NEW- L'importation automatique est activée. FSx for Lustre importe automatiquement les listes de répertoires de tous les nouveaux objets ajoutés au compartiment Amazon S3 lié qui n'existent pas actuellement dans le système de fichiers FSx for Lustre.

  • NEW_CHANGED- L'importation automatique est activée. FSx for Lustre importe automatiquement les listes de fichiers et de répertoires de tous les nouveaux objets ajoutés au compartiment Amazon S3 et de tous les objets existants modifiés dans le compartiment Amazon S3 une fois que vous avez choisi cette option.

  • NEW_CHANGED_DELETED- L'importation automatique est activée. FSx for Lustre importe automatiquement les listes de fichiers et de répertoires de tous les nouveaux objets ajoutés au compartiment Amazon S3, de tous les objets existants modifiés dans le compartiment Amazon S3 et de tous les objets supprimés du compartiment Amazon S3 une fois que vous avez choisi cette option.

    Note

    Support pour NEW_CHANGED_DELETED a été ajouté dans la AWS ParallelCluster version 3.1.1.

Si AutoImportPolicy ce n'est pas spécifié, l'importation automatique est désactivée. FSx for Lustre met uniquement à jour les listes de fichiers et de répertoires à partir du compartiment Amazon S3 lié lors de la création du système de fichiers. FSx for Lustre ne met pas à jour les listes de fichiers et de répertoires pour les objets nouveaux ou modifiés après avoir sélectionné cette option.

Pour plus d'informations, consultez Importer automatiquement les mises à jour depuis votre compartiment S3 dans le guide de l'utilisateur d'Amazon FSx for Lustre.

Note

Ce paramètre n'est pas pris en charge pour les systèmes de fichiers utilisant le type de PERSISTENT_2 déploiement. Pour savoir comment configurer les associations de référentiels de données, consultez la section Lier votre système de fichiers à un compartiment S3 dans le guide de l'utilisateur d'Amazon FSx for Lustre.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

DriveCacheType(Facultatif,String)

Spécifie que le système de fichiers possède un cache de disque SSD. Cela ne peut être défini que si le StorageType paramètre est défini surHDD, et le DeploymentType paramètre est défini surPERSISTENT_1. Cela correspond à la propriété DriveCacheType. Pour plus d'informations, consultez les options de déploiement de FSx for Lustre dans le guide de l'utilisateur d'Amazon FSx for Lustre.

La seule valeur valide est READ. Pour désactiver le cache du disque SSD, ne spécifiez pas le DriveCacheType paramètre.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

StorageType(Facultatif,String)

Définit le type de stockage pour le système de fichiers FSx for Lustre que vous créez. Les valeurs valides sont SSD et HDD.

  • Définissez ce paramètre sur SSD pour utiliser un stockage SSD.

  • Configurez HDD pour utiliser le stockage sur disque dur. HDDest pris en charge sur les types de PERSISTENT déploiement.

La valeur par défaut est SSD. Pour plus d'informations, consultez Options de type de stockage dans le Guide de l’utilisateur Amazon FSx for Windows et Options de stockage multiples dans le Guide de l’utilisateur Amazon FSX for Lustre.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

DeletionPolicy(Facultatif,String)

Spécifie si le système de fichiers doit être conservé ou supprimé lorsque le système de fichiers est supprimé du cluster ou lorsque le cluster est supprimé. Les valeurs prises en charge sont Delete et Retain. La valeur par défaut est Delete.

Lorsque le DeletionPolicyparamètre est défini surDelete, un système de fichiers géré, avec ses données, est supprimé si le cluster est supprimé ou si le système de fichiers est supprimé lors d'une mise à jour du cluster.

Pour plus d’informations, consultez Stockage partagé.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

Note

DeletionPolicyest pris en charge à partir de AWS ParallelCluster la version 3.3.0.

DataRepositoryAssociations(Facultatif,String)

Liste des DRA (jusqu'à 8 par système de fichiers)

Chaque association de référentiel de données doit disposer d'un répertoire unique de système de fichiers Amazon FSx, et d'un préfixe ou compartiment S3 unique qui lui est associé.

Vous ne pouvez pas utiliser ExportPathet ImportPathen FsxLustreSettings même temps que les DRA.

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

Name(Obligatoire,String)

Le nom du DRA. Vous utilisez ce nom lorsque vous mettez à jour les paramètres.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

BatchImportMetaDataOnCreate(Facultatif,Boolean)

Un indicateur booléen déterminant si une tâche de référentiel de données d'importation permettant d'importer des métadonnées doit être exécutée après la création de l'association de référentiels de données. La tâche s'exécute si cet indicateur est défini sur true.

Valeur par défaut : false

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

DataRepositoryPath(Obligatoire,String)

Chemin d'accès au référentiel de données Amazon S3 qui sera lié au système de fichiers. Le chemin d'accès peut être un compartiment S3 ou un préfixe au format s3://myBucket/myPrefix/. Ce chemin d'accès indique l'emplacement d'importation ou d'exportation des fichiers dans le référentiel de données S3.

Ne peut pas se chevaucher avec d'autres DRA

Modèle : ^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$

Minimum : 3

Maximum : 4357

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

FileSystemPath(Obligatoire,String)

Un chemin d'accès sur le système de fichiers Amazon FSx pour Lustre qui pointe vers un répertoire de haut niveau (tel que /ns1/) ou un sous-répertoire (tel que /ns1/subdir/) qui sera mappé 1 à 1 avec DataRepositoryPath. Une barre oblique est requise au début du nom. Deux associations de référentiels de données ne peuvent pas avoir des chemins d'accès de système de fichiers qui se chevauchent. Par exemple, si un référentiel de données est associé au chemin d'accès du système de fichiers /ns1/, vous ne pouvez pas lier un autre référentiel de données au chemin d'accès du système de fichiers /ns1/ns2.

Ce chemin d'accès indique où, dans votre système de fichiers, les fichiers seront exportés ou importés. Ce répertoire de système de fichiers ne peut être lié qu'à un seul compartiment Amazon S3, et aucun autre compartiment S3 ne peut être lié à ce répertoire.

Ne peut pas se chevaucher avec d'autres DRA

Note

Si vous spécifiez uniquement une barre oblique (/) comme chemin d'accès du système de fichiers, vous ne pouvez lier qu'un seul référentiel de données au système de fichiers. Vous ne pouvez spécifier « / » que comme chemin du système de fichiers pour le premier référentiel de données associé à un système de fichiers.

Modèle : ^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$

Minimum : 1

Maximum : 4096

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

ImportedFileChunkSize(Facultatif,Integer)

Pour les fichiers importés à partir d'un référentiel de données, cette valeur détermine le nombre de bandes et la quantité maximale de données par fichier (en Mio) stockées sur un seul disque physique. Le nombre maximal de disques sur lesquels un fichier unique peut être agrégé par bandes est limité au nombre total de disques qui composent le système de fichiers ou le cache.

La taille de bloc par défaut est 1 024 Mio (1 Gio) et peut atteindre 512 000 Mio (500 Gio). Les objets Amazon S3 ont une taille maximale de 5 To.

Minimum : 1

Maximum : 4096

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

AutoExportPolicy(Facultatif,Array of strings)

La liste peut contenir une ou plusieurs des valeurs suivantes :

  • NEW : les nouveaux fichiers et répertoires sont automatiquement exportés vers le référentiel de données à mesure qu'ils sont ajoutés au système de fichiers.

  • CHANGED : les modifications apportées aux fichiers et aux répertoires du système de fichiers sont automatiquement exportées vers le référentiel de données.

  • DELETED : les fichiers et les répertoires sont automatiquement supprimés du référentiel de données lorsqu'ils sont supprimés du système de fichiers.

Vous pouvez définir n'importe quelle combinaison de types d'événements pour votre AutoExportPolicy.

Maximum : 3

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

AutoImportPolicy(Facultatif,Array of strings)

La liste peut contenir une ou plusieurs des valeurs suivantes :

  • NEW : Amazon FSx importe automatiquement les métadonnées des fichiers ajoutés au compartiment S3 lié qui n'existent pas actuellement dans le système de fichiers FSx.

  • CHANGED : Amazon FSx met automatiquement à jour les métadonnées des fichiers et invalide le contenu des fichiers existants sur le système de fichiers à mesure que les fichiers changent dans le référentiel de données.

  • DELETED : Amazon FSx supprime automatiquement les fichiers du système de fichiers à mesure que les fichiers correspondants sont supprimés dans le référentiel de données.

Vous pouvez définir n'importe quelle combinaison de types d'événements pour votre AutoImportPolicy.

Maximum : 3

Politique de mise à jour : ce paramètre peut être modifié lors d'une mise à jour.

FsxOntapSettings

Note

Vous devez définir FsxOntapSettings s'il FsxOntap est spécifié pour StorageType.

(Facultatif) Les paramètres d'un système de fichiers FSx for ONTAP.

FsxOntapSettings: VolumeId: string

Propriétés de FsxOntapSettings

VolumeId(Obligatoire,String)

Spécifie l'ID de volume du système FSx for ONTAP existant.

Note
  • Si un AWS Batch planificateur est utilisé, FSx for ONTAP n'est disponible que sur le nœud principal.

  • Si le type de déploiement FSx for ONTAP estMulti-AZ, assurez-vous que la table de routage du sous-réseau du nœud principal est correctement configurée.

  • Support de FSx pour ONTAP a été ajouté dans AWS ParallelCluster la version 3.2.0.

  • Le système de fichiers doit être associé à un groupe de sécurité qui autorise le trafic TCP et UDP entrant et sortant via les ports 111, 635, 2049 et 4046.

Assurez-vous que le trafic est autorisé entre le cluster et le système de fichiers en effectuant l'une des actions suivantes :

  • Configurez les groupes de sécurité du système de fichiers pour autoriser le trafic à destination et en provenance du CIDR ou de la liste de préfixes des sous-réseaux du cluster.

    Note

    AWS ParallelCluster valide que les ports sont ouverts et que le CIDR ou la liste de préfixes est configuré. AWS ParallelCluster ne valide pas le contenu du bloc ou de la liste de préfixes CIDR.

  • Définissez des groupes de sécurité personnalisés pour les nœuds de cluster en utilisant SlurmQueuesNetworking//SecurityGroupset HeadNode/Networking/SecurityGroups. Les groupes de sécurité personnalisés doivent être configurés pour autoriser le trafic entre le cluster et le système de fichiers.

    Note

    Si tous les nœuds du cluster utilisent des groupes de sécurité personnalisés, cela confirme AWS ParallelCluster uniquement que les ports sont ouverts. AWS ParallelCluster ne confirme pas que la source et la destination sont correctement configurées.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

FsxOpenZfsSettings

Note

Vous devez définir FsxOpenZfsSettings s'il FsxOpenZfs est spécifié pour StorageType.

(Facultatif) Les paramètres d'un système de fichiers FSx pour OpenZFS.

FsxOpenZfsSettings: VolumeId: string

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Propriétés de FsxOpenZfsSettings

VolumeId(Obligatoire,String)

Spécifie l'ID de volume du système FSx pour OpenZFS existant.

Note
  • Si un AWS Batch planificateur est utilisé, FSx pour OpenZFS n'est disponible que sur le nœud principal.

  • Support de FSx pour OpenZFS a été ajouté dans la version 3.2.0. AWS ParallelCluster

  • Le système de fichiers doit être associé à un groupe de sécurité qui autorise le trafic TCP et UDP entrant et sortant via les ports 111, 2049, 20001, 20002 et 20003.

Assurez-vous que le trafic est autorisé entre le cluster et le système de fichiers en effectuant l'une des opérations suivantes :

  • Configurez les groupes de sécurité du système de fichiers pour autoriser le trafic à destination et en provenance du CIDR ou de la liste de préfixes des sous-réseaux du cluster.

    Note

    AWS ParallelCluster valide que les ports sont ouverts et que le CIDR ou la liste de préfixes est configuré. AWS ParallelCluster ne valide pas le contenu du bloc ou de la liste de préfixes CIDR.

  • Définissez des groupes de sécurité personnalisés pour les nœuds de cluster en utilisant SlurmQueuesNetworking//SecurityGroupset HeadNode/Networking/SecurityGroups. Les groupes de sécurité personnalisés doivent être configurés pour autoriser le trafic entre le cluster et le système de fichiers.

    Note

    Si tous les nœuds du cluster utilisent des groupes de sécurité personnalisés, cela confirme AWS ParallelCluster uniquement que les ports sont ouverts. AWS ParallelCluster ne confirme pas que la source et la destination sont correctement configurées.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

FileCacheSettings

Note

Vous devez définir FileCacheSettings s'il FileCache est spécifié pour StorageType.

(Facultatif) Les paramètres d'un cache de fichiers.

FileCacheSettings: FileCacheId: string

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.

Propriétés de FileCacheSettings

FileCacheId(Obligatoire,String)

Spécifie l'ID de cache de fichiers d'un cache de fichiers existant.

Note
  • Le cache de fichiers ne prend pas en charge AWS Batch les planificateurs.

  • Support pour le cache de fichiers a été ajouté dans AWS ParallelCluster la version 3.7.0.

  • Le système de fichiers doit être associé à un groupe de sécurité qui autorise le trafic TCP entrant et sortant via le port 988.

Assurez-vous que le trafic est autorisé entre le cluster et le système de fichiers en effectuant l'une des opérations suivantes :

  • Configurez les groupes de sécurité du cache de fichiers pour autoriser le trafic à destination et en provenance du CIDR ou de la liste de préfixes des sous-réseaux du cluster.

    Note

    AWS ParallelCluster valide que les ports sont ouverts et que le CIDR ou la liste de préfixes est configuré. AWS ParallelCluster ne valide pas le contenu du bloc ou de la liste de préfixes CIDR.

  • Définissez des groupes de sécurité personnalisés pour les nœuds de cluster en utilisant SlurmQueuesNetworking//SecurityGroupset HeadNode/Networking/SecurityGroups. Les groupes de sécurité personnalisés doivent être configurés pour autoriser le trafic entre le cluster et le système de fichiers.

    Note

    Si tous les nœuds du cluster utilisent des groupes de sécurité personnalisés, cela confirme AWS ParallelCluster uniquement que les ports sont ouverts. AWS ParallelCluster ne confirme pas que la source et la destination sont correctement configurées.

Politique de mise à jour : si ce paramètre est modifié, la mise à jour n'est pas autorisée.