Stockage partagé - AWS ParallelCluster

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Stockage partagé

AWS ParallelClusterprend en charge l'utilisation d'Amazon EBS, FSx for ONTAP et FSx pour lesvolumes de stockage partagés OpenZFS, d'Amazon EFS et FSx pourles systèmes de fichiers de stockage partagé Lustre ou de caches de fichiers. Nous vous recommandons de suivre les directives du pilier de fiabilité AWS du framework bien conçu et de sauvegarder vos volumes et vos systèmes de fichiers.

Sélectionnez un système de stockage qui répond aux exigences d'E/S de votre application HPC. Vous pouvez optimiser chaque système de fichiers en fonction de votre cas d'utilisation spécifique. Pour plus d'informations, consultez la présentation des options de stockage.

Les volumes Amazon EBS sont attachés au nœud principal et partagés avec les nœuds de calcul via NFS. Cette option peut être rentable, mais les performances dépendent des ressources du nœud principal à mesure que les besoins de stockage évoluent. Cela peut devenir un goulot d'étranglement à mesure que de nouveaux nœuds de calcul sont ajoutés au cluster et que la demande de débit augmente.

Les systèmes de fichiers Amazon EFS évoluent en fonction de l'évolution des besoins de stockage. Vous pouvez configurer ces systèmes de fichiers pour différents cas d'utilisation. Utilisez les systèmes de fichiers Amazon EFS pour exécuter des applications parallélisées et sensibles à la latence sur votre cluster.

Les systèmes de fichiers FSx for Lustre peuvent traiter des ensembles de données massifs avec un débit pouvant atteindre des centaines de gigaoctets par seconde, des millions d'IOPS et des latences inférieures à la milliseconde. Utilisez les systèmes de fichiers FSx for Lustre pour les environnements de calcul exigeants à hautes performances.

Dans leSharedStorage Section, vous pouvez définir un stockage externe ou AWS ParallelCluster géré :

  • Le stockage externe fait référence à un volume ou à un système de fichiers existant que vous gérez. AWS ParallelClusterne crée ni ne supprime ce stockage.

  • Le stockage géré fait référence à un volume ou à un système de fichiers AWS ParallelCluster créé et pouvant être supprimé.

Stockage externe

Vous pouvez configurer AWS ParallelCluster pour associer un stockage externe au cluster lors de sa création ou de sa mise à jour. De même, vous pouvez le configurer pour détacher le stockage externe du cluster lorsque celui-ci est supprimé ou mis à jour. Vos données sont préservées et vous pouvez les utiliser pour un stockage partagé permanent à long terme en dehors du cycle de vie du cluster.

Note

Les versions AWS ParallelCluster antérieures à 3.8 n'autorisent pas le montage de systèmes de fichiers gérés en externe. /home À partir de la version 3.8AWS ParallelCluster, vous pouvez l'utiliser /home comme point de montage pour un système de fichiers géré externe. Vous pouvez monter un système de fichiers géré en externe /home en spécifiant /home comme valeur le MountDirparamètre situé sous leSharedStorage Section.

Amazon File Cache ne peut pas être utilisé comme /home répertoire système et n'est donc pas pris en charge pour le moment pour le montage/home.

Lorsque vous spécifiez un /home répertoire sous SharedStorage Section l'option SharedStorageTypede configuration, celle-ci sera remplacée, ce qui signifie que les paramètres ci-dessous SharedStorage Section seront utilisés à la place.

Lorsque vous montez un système de fichiers externe /home dans le répertoireAWS ParallelCluster, le /home contenu du nœud principal est copié sur le système de fichiers externe, sans remplacer les fichiers existants sur le stockage externe. Cela inclut le transfert de la clé SSH du cluster pour l'utilisateur par défaut, si elle est absente du système de fichiers externe. Pour plus d'informations, reportez-vous àAWS ParallelClusterconsidérations relatives au stockage partagé.

AWS ParallelClusterstockage géré

AWS ParallelClusterle stockage géré dépend du cycle de vie du cluster par défaut dans la configuration. Le paramètre SharedStorage DeletionPolicy de configuration est défini sur Delete par défaut.

Par défaut, un système de fichiers ou un volume AWS ParallelCluster géré et ses données sont supprimés si l'une des conditions suivantes est vraie.

  • Vous supprimez le cluster.

  • Vous modifiez la configuration du stockage partagé géréName.

  • Vous supprimez le stockage partagé géré de la configuration.

Réglez DeletionPolicy sur Retain pour conserver votre système de fichiers partagé géré ou votre volume et vos données. Nous vous recommandons de sauvegarder régulièrement vos données afin d'éviter toute perte de données. Vous pouvez l'utiliser AWS Backuppour gérer de manière centralisée les sauvegardes de toutes vos options de stockage.

Vous pouvez supprimer la dépendance au cycle de vie à l'aide des paramètres de configuration. Pour en savoir plus, consultez Convertir le stockage AWS ParallelCluster géré en stockage externe.

Pour plus d'informations sur les quotas de stockage partagés, consultezQuotas pour le stockage partagé.

Pour plus d'informations sur le stockage partagé et le passage aux nouvelles AWS ParallelCluster versions, consultezBonnes pratiques : déplacement d'un cluster vers une nouvelle version AWS ParallelCluster mineure ou un correctif.

Vous pouvez configurer AWS ParallelCluster pour associer un stockage externe au cluster lors de sa création ou de sa mise à jour. De même, vous pouvez le configurer pour détacher le stockage externe du cluster lorsque celui-ci est supprimé ou mis à jour. Vos données sont préservées et vous pouvez les utiliser pour des solutions de stockage partagé permanent à long terme, indépendantes du cycle de vie du cluster.

Par défaut, le stockage géré dépend du cycle de vie du cluster. Vous pouvez supprimer cette dépendance à l'aide des paramètres de configuration décrits dansConvertir le stockage AWS ParallelCluster géré en stockage externe.

Avec des paramètres spécifiques, vous pouvez optimiser chacune des solutions de stockage prises en charge en fonction de vos cas d'utilisation.

Pour les quotas de stockage partagés, voirQuotas pour le stockage partagé.

Pour plus d'informations sur le stockage partagé et le passage aux nouvelles AWS ParallelCluster versions, consultezBonnes pratiques : déplacement d'un cluster vers une nouvelle version AWS ParallelCluster mineure ou un correctif.

Rubriques