Configuration des clients EFA

Utilisez les procédures suivantes pour configurer votre client Lustre afin qu'il accède à un système de fichiers FSx pour Lustre via Elastic Fabric Adapter (EFA).

EFA est pris en charge sur les clients Lustre exécutant les systèmes d'exploitation suivants :

• Amazon Linux 2023 (AL2023)

• Red Hat Enterprise Linux (RHEL) 9.5 ou version ultérieure

• Ubuntu 22.04 ou version ultérieure avec la version 6.8+ du noyau

L'EFA est pris en charge sur les clients Lustre listés ci-dessous. Pour de plus amples informations, veuillez consulter Installation du Lustre client.

L'EFA est pris en charge sur les EC2 instances Nitro v4 (ou supérieures) compatibles avec EFA, à l'exception de la famille d'instances trn2. Consultez la section Types d'instances pris en charge dans le guide de EC2 l'utilisateur Amazon.

Étape 1 : Installation des pilotes requis

Note

Si vous utilisez une AMI Deep Learning, vous pouvez ignorer cette étape car le pilote EFA et le pilote NVIDIA GPUDirect Storage (GDS) sont préinstallés.

Installez le pilote EFA

Suivez les instructions de l'étape 3 : Installation du logiciel EFA dans le guide de EC2 l'utilisateur Amazon.

Installez le pilote GDS (facultatif)

Cette étape n'est requise que si vous prévoyez d'utiliser le GPUDirect stockage NVIDIA (GDS) avec FSx for Lustre.

Prérequis:

• Instance Amazon EC2 P5, P5e, P5en, P6-B200 ou P6e-00 GB2

• Pilote NVIDIA GDS version 2.24.2 ou supérieure

Pour installer le pilote GPUDirect de stockage NVIDIA sur votre instance cliente

1. Clonez le référentiel NVIDIA GDS :

   git clone https://github.com/NVIDIA/gds-nvidia-fs.git

2. Compilez et installez le pilote :

   cd gds-nvidia-fs/src/
   export NVFS_MAX_PEER_DEVS=128
   export NVFS_MAX_PCI_DEPTH=16
   sudo -E make
   sudo insmod nvidia-fs.ko

Étape 2 : configurer EFA pour le client Lustre

Pour accéder à un système de fichiers FSx pour Lustre à l'aide d'une interface EFA, vous devez installer les modules Lustre EFA et configurer les interfaces EFA.

Configuration rapide

Pour configurer rapidement votre client Lustre

1. Connectez-vous à votre EC2 instance Amazon.

2. Téléchargez et décompressez le fichier contenant le script de configuration :

   curl -O https://docs.aws.amazon.com/fsx/latest/LustreGuide/samples/configure-efa-fsx-lustre-client.zip
   unzip configure-efa-fsx-lustre-client.zip

3. Accédez au configure-efa-fsx-lustre-client dossier et exécutez le script de configuration :

   cd configure-efa-fsx-lustre-client
   sudo ./setup.sh

   Le script effectue automatiquement les opérations suivantes :

   • Importe des modules Lustre

   • Configure les interfaces TCP et EFA

   • Crée un service systemd pour la configuration automatique au redémarrage

   Pour obtenir la liste des options et des exemples d'utilisation que vous pouvez utiliser avec le setup.sh script, consultez le README.md fichier dans le fichier zip.

Gestion manuelle du service Systemd

Le fichier de service systemd est créé dans/etc/systemd/system/configure- efa-fsx-lustre-client .service. Voici quelques commandes utiles liées au système :

# Check status
sudo systemctl status configure-efa-fsx-lustre-client.service

# View logs
sudo journalctl -u configure-efa-fsx-lustre-client.service
# View warnings/errors from dmesg
sudo dmesg

Pour plus d'informations, consultez le README.md fichier dans le fichier zip.

Configuration de montage automatique (en option)

Pour plus d'informations sur le montage automatique de votre système de fichiers Amazon FSx for Lustre au démarrage, consultezMontage automatique de votre système de FSx fichiers Amazon.

Étape 3 : interfaces EFA

Chaque système de fichiers FSx for Lustre a une limite maximale de 1 024 connexions EFA pour toutes les instances clientes.

Le configure-efa-fsx-lustre-client.sh script configure automatiquement les interfaces EFA en fonction du type d'instance.

Type d'instance	Nombre d'interfaces EFA par défaut
p6e-gb 200,36 x large	8
p6-b200.48 x large	8
p 5 en 48 x large	8
p5e.48 x large	8
p5.48xlarge	8
Autres instances avec plusieurs cartes réseau	2
Autres instances avec une seule carte réseau	1

Chaque interface EFA configurée sur une instance client compte comme une connexion par rapport à la limite de 1024 connexions EFA lorsqu'elle est connectée à un système de fichiers FSx pour Lustre.

Gestion manuelle des interfaces EFA

Les instances dotées d'un plus grand nombre d'interfaces EFA prennent généralement en charge un débit plus élevé. Vous pouvez personnaliser le nombre d'interfaces afin d'optimiser les performances pour vos charges de travail spécifiques, à condition de respecter la limite totale de connexions EFA.

Vous pouvez gérer manuellement les interfaces EFA à l'aide des commandes suivantes :

1. Afficher les appareils EFA disponibles :

   for interface in /sys/class/infiniband/*; do
       if [ ! -e "$interface/device/driver" ]; then continue; fi
       driver=$(basename "$(realpath "$interface/device/driver")")
       if [ "$driver" != "efa" ]; then continue; fi
       echo $(basename $interface)
   done

2. Afficher les interfaces actuellement configurées :

   sudo lnetctl net show

3. Ajoutez une interface EFA :

   sudo lnetctl net add --net efa --if device_name —peer-credits 32

   device_nameRemplacez-le par un nom de périphérique réel figurant dans la liste de l'étape 1.

4. Supprimer une interface EFA :

   sudo lnetctl net del --net efa --if device_name

   device_nameRemplacez-le par un nom de périphérique réel figurant dans la liste de l'étape 2.