Configuración de clientes EFA

Utilice los siguientes procedimientos para configurar su cliente de Lustre FSx para acceder a un sistema de archivos de Lustre mediante Elastic Fabric Adapter (EFA).

El EFA es compatible con los clientes Lustre que ejecutan los siguientes sistemas operativos:

• Amazon Linux 2023 (AL2023)

• Red Hat Enterprise Linux (RHEL) 9.5 o posterior

• Ubuntu 22.04 o posterior con la versión 6.8+ del kernel

EFA es compatible con los clientes de Lustre que se indican a continuación. Para obtener más información, consulte Instalación del cliente de Lustre.

El EFA se admite en las instancias Nitro v4 (o superior) que admiten EFA, excluida la familia de EC2 instancias trn2. Consulta los tipos de instancias compatibles en la Guía del EC2 usuario de Amazon.

Paso 1: Instale los controladores necesarios

nota

Si utiliza una AMI de aprendizaje profundo, puede omitir este paso, ya que tanto el controlador EFA como el controlador NVIDIA GPUDirect Storage (GDS) vienen preinstalados.

Instale el controlador EFA

Siga las instrucciones del paso 3: Instalar el software EFA en la Guía del EC2 usuario de Amazon.

Instale el controlador GDS (opcional)

Este paso solo es necesario si va a utilizar NVIDIA GPUDirect Storage (GDS) con FSx for Lustre.

Requisitos:

• Instancia Amazon EC2 P5, P5e, P5en, P6-B200 o P6e-00 GB2

• Controlador NVIDIA GDS, versión 2.24.2 o superior

Para instalar el controlador de GPUDirect almacenamiento de NVIDIA en la instancia de cliente

1. Clona el repositorio GDS de NVIDIA:

   git clone https://github.com/NVIDIA/gds-nvidia-fs.git

2. Cree e instale el controlador:

   cd gds-nvidia-fs/src/
   export NVFS_MAX_PEER_DEVS=128
   export NVFS_MAX_PCI_DEPTH=16
   sudo -E make
   sudo insmod nvidia-fs.ko

Paso 2: Configurar EFA para el cliente Lustre

Para acceder a un FSx sistema de archivos de Lustre mediante una interfaz EFA, debe instalar los módulos EFA de Lustre y configurar las interfaces EFA.

Configuración rápida

Para configurar rápidamente su cliente Lustre

1. Conéctate a tu EC2 instancia de Amazon.

2. Descarga y descomprime el archivo que contiene el script de configuración:

   curl -O https://docs.aws.amazon.com/fsx/latest/LustreGuide/samples/configure-efa-fsx-lustre-client.zip
   unzip configure-efa-fsx-lustre-client.zip

3. Cambie a la configure-efa-fsx-lustre-client carpeta y ejecute el script de configuración:

   cd configure-efa-fsx-lustre-client
   sudo ./setup.sh

   El script realiza automáticamente lo siguiente:

   • Importa los módulos de Lustre

   • Configura las interfaces TCP y EFA

   • Crea un servicio systemd para la configuración automática al reiniciar

   Para ver una lista de opciones y ejemplos de uso que puede usar con el setup.sh script, consulte el README.md archivo en el archivo zip.

Administrar el servicio systemd manualmente

El archivo de servicio systemd se crea en/etc/systemd/system/configure- efa-fsx-lustre-client .service. Los siguientes son algunos comandos útiles relacionados con systemd:

# Check status
sudo systemctl status configure-efa-fsx-lustre-client.service

# View logs
sudo journalctl -u configure-efa-fsx-lustre-client.service
# View warnings/errors from dmesg
sudo dmesg

Para obtener más información, consulte el README.md archivo en el archivo zip.

Configuración de montaje automático (opcional)

Para obtener información sobre cómo montar automáticamente el sistema de archivos Amazon FSx for Lustre al arrancar, consulteMontaje automático del sistema FSx de archivos de Amazon.

Paso 3: Interfaces EFA

Cada sistema FSx de archivos de Lustre tiene un límite máximo de 1024 conexiones EFA en todas las instancias del cliente.

El configure-efa-fsx-lustre-client.sh script configura automáticamente las interfaces EFA en función del tipo de instancia.

Tipo de instancia	Número predeterminado de interfaces EFA
p6e-gb200.36xlarge	8
p6-b200.48xlarge	8
p5en.48xlarge	8
p5e.48xlarge	8
p5.48xlarge	8
Otras instancias con varias tarjetas de red	2
Otras instancias con una sola tarjeta de red	1

Cada interfaz EFA configurada en una instancia de cliente cuenta como una conexión frente al límite de 1024 conexiones EFA cuando se conecta a un sistema de archivos de FSx for Lustre.

Gestión manual de las interfaces EFA

Las instancias con más interfaces EFA suelen admitir un mayor rendimiento. Puede personalizar la cantidad de interfaces para optimizar el rendimiento de sus cargas de trabajo específicas, siempre y cuando se mantenga dentro del límite total de conexiones de la EFA.

Puede gestionar manualmente las interfaces EFA mediante los siguientes comandos:

1. Vea los dispositivos EFA disponibles:

   for interface in /sys/class/infiniband/*; do
       if [ ! -e "$interface/device/driver" ]; then continue; fi
       driver=$(basename "$(realpath "$interface/device/driver")")
       if [ "$driver" != "efa" ]; then continue; fi
       echo $(basename $interface)
   done

2. Vea las interfaces configuradas actualmente:

   sudo lnetctl net show

3. Agregue una interfaz EFA:

   sudo lnetctl net add --net efa --if device_name —peer-credits 32

   device_nameSustitúyala por un nombre de dispositivo real de la lista del paso 1.

4. Elimine una interfaz EFA:

   sudo lnetctl net del --net efa --if device_name

   device_nameSustitúyala por un nombre de dispositivo real de la lista del paso 2.