Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation de systèmes de fichiers réseau avec AWS PCS
Vous pouvez associer des volumes de stockage réseau à des nœuds lancés dans un groupe de nœuds de calcul AWS Parallel Computing Service (AWS PCS) afin de fournir un emplacement permanent où les données et les fichiers peuvent être écrits et accessibles. Vous pouvez utiliser les volumes fournis par les AWS services. Les volumes incluent Amazon Elastic File System (AmazonEFS), Amazon FSx for NetApp ONTAP, Amazon FSx for Open ZFS, Amazon FSx for Lustre et Amazon File Cache. Vous pouvez également utiliser des volumes autogérés, tels que des NFS serveurs.
Cette rubrique présente des considérations et des exemples relatifs à l'utilisation de systèmes de fichiers en réseau avec AWS PCS.
Considérations relatives à l'utilisation de systèmes de fichiers réseau
Les détails de mise en œuvre des différents systèmes de fichiers sont différents, mais il existe des considérations communes.
-
Le logiciel du système de fichiers approprié doit être installé sur l'instance. Par exemple, pour utiliser Amazon FSx pour Lustre, le Lustre package approprié doit être présent. Cela peut être accompli en l'incluant dans le groupe de nœuds de calcul AMI ou en utilisant un script qui s'exécute au démarrage de l'instance.
-
Il doit exister une route réseau entre le volume de stockage partagé et les instances du groupe de nœuds de calcul.
-
Les règles du groupe de sécurité relatives au volume de stockage partagé et aux instances du groupe de nœuds de calcul doivent autoriser les connexions aux ports concernés.
-
Vous devez maintenir un espace de noms POSIX d'utilisateur et de groupe cohérent entre les ressources qui accèdent aux systèmes de fichiers. Dans le cas contraire, les tâches et les processus interactifs exécutés sur votre PCS cluster risquent de rencontrer des erreurs d'autorisation.
-
Les montages de systèmes de fichiers sont effectués à l'aide de modèles de EC2 lancement. Des erreurs ou des délais d'attente lors du montage d'un système de fichiers réseau peuvent empêcher les instances d'être disponibles pour exécuter des tâches. Ceci, à son tour, peut entraîner des coûts imprévus. Pour plus d'informations sur le débogage des modèles de lancement, consultezUtilisation des modèles EC2 de lancement Amazon avec AWS PCS.
Exemples de montages réseau
Vous pouvez créer des systèmes de fichiers à l'aide d'AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS et Amazon File Cache. Développez la section correspondante ci-dessous pour voir un exemple de chaque montage réseau.
Configuration du système de fichiers
Créez un système de EFS fichiers Amazon. Assurez-vous qu'il dispose d'une cible de montage dans chaque zone de disponibilité où vous lancerez des instances de groupes de nœuds de PCS calcul. Assurez-vous également que chaque cible de montage est associée à un groupe de sécurité qui autorise l'accès entrant et sortant depuis les instances du groupe de nœuds de PCS calcul. Pour plus d'informations, consultez Mount targets and security groups dans le manuel Amazon Elastic File System User Guide.
Modèle de lancement
Ajoutez le ou les groupes de sécurité de la configuration de votre système de fichiers au modèle de lancement que vous utiliserez pour le groupe de nœuds de calcul.
Incluez les données utilisateur qui utilisent le cloud-config mécanisme de montage du système de EFS fichiers Amazon. Remplacez les valeurs suivantes dans ce script par vos propres informations :
-
mount-point-directory -
filesystem-id
MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="==MYBOUNDARY==" --==MYBOUNDARY== Content-Type: text/cloud-config; charset="us-ascii" packages: - amazon-efs-utils runcmd: - mkdir -p /mount-point-directory- echo "filesystem-id:/ /mount-point-directoryefs tls,_netdev" >> /etc/fstab - mount -a -t efs defaults --==MYBOUNDARY==--
Configuration du système de fichiers
Créez un système de fichiers FSx pour Lustre dans l'VPCendroit où vous allez l'utiliser AWS PCS. Pour minimiser les transferts entre zones, déployez dans un sous-réseau de la même zone de disponibilité où vous lancerez la majorité de vos instances de groupes de nœuds de PCS calcul. Assurez-vous que le système de fichiers est associé à un groupe de sécurité qui autorise l'accès entrant et sortant depuis les instances du groupe de nœuds de PCS calcul. Pour plus d'informations sur les groupes de sécurité, consultez la section Contrôle d'accès au système de fichiers avec Amazon VPC dans le guide de l'utilisateur d'Amazon FSx for Lustre.
Modèle de lancement
Incluez les données utilisateur utilisées cloud-config pour monter le système de fichiers FSx for Lustre. Remplacez les valeurs suivantes dans ce script par vos propres informations :
-
mount-point-directory -
filesystem-id -
mount-name -
region-code -
(Facultatif)
latest
MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="==MYBOUNDARY==" --==MYBOUNDARY== Content-Type: text/cloud-config; charset="us-ascii" runcmd: - amazon-linux-extras install -y lustre=latest- mkdir -p /mount-point-directory- mount -t lustrefilesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name/mount-point-directory--==MYBOUNDARY==
Configuration du système de fichiers
Créez un système de ZFS fichiers FSx for Open dans l'VPCendroit où vous allez utiliser AWS PCS. Pour minimiser les transferts entre zones, déployez dans un sous-réseau de la même zone de disponibilité où vous lancerez la majorité de vos instances de groupes de nœuds de AWS PCS calcul. Assurez-vous que le système de fichiers est associé à un groupe de sécurité qui autorise l'accès entrant et sortant depuis les instances du groupe de nœuds de AWS PCS calcul. Pour plus d'informations sur les groupes de sécurité, consultez la section Gestion de l'accès au système de fichiers avec Amazon VPC dans le guide de ZFS l'utilisateur FSx for Open.
Modèle de lancement
Incluez les données utilisateur utilisées cloud-config pour monter le volume racine d'un système de ZFS fichiers FSx for Open. Remplacez les valeurs suivantes dans ce script par vos propres informations :
-
mount-point-directory -
filesystem-id -
region-code
MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="==MYBOUNDARY==" --==MYBOUNDARY== Content-Type: text/cloud-config; charset="us-ascii" runcmd: - mkdir -p /mount-point-directory- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory--==MYBOUNDARY==
Configuration du système de fichiers
Créez un cache de fichiers Amazon dans l'VPCendroit où vous allez l'utiliser AWS PCS. Pour minimiser les transferts entre zones, choisissez un sous-réseau dans la même zone de disponibilité où vous lancerez la majorité de vos instances de groupes de nœuds de PCS calcul. Assurez-vous que le cache de fichiers est associé à un groupe de sécurité qui autorise le trafic entrant et sortant sur le port 988 entre vos PCS instances et le cache de fichiers. Pour plus d'informations sur les groupes de sécurité, consultez la section Contrôle d'accès au cache avec Amazon VPC dans le guide de l'utilisateur d'Amazon File Cache.
Modèle de lancement
Ajoutez le ou les groupes de sécurité de la configuration de votre système de fichiers au modèle de lancement que vous utiliserez pour le groupe de nœuds de calcul.
Incluez les données utilisateur utilisées cloud-config pour monter l'Amazon File Cache. Remplacez les valeurs suivantes dans ce script par vos propres informations :
-
mount-point-directory -
cache-dns-name -
mount-name
MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="==MYBOUNDARY==" --==MYBOUNDARY== Content-Type: text/cloud-config; charset="us-ascii" runcmd: - amazon-linux-extras install -y lustre=2.12 - mkdir -p /mount-point-directory- mount -t lustre -o relatime,flockcache-dns-name@tcp:/mount-name/mount-point-directory--==MYBOUNDARY==
