Contabilidad de Slurm con AWS ParallelCluster - AWS ParallelCluster

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Contabilidad de Slurm con AWS ParallelCluster

A partir de la versión 3.3.0, AWS ParallelCluster admite la Slurm contabilidad con el parámetro de configuración del clúster/Base de datos. SlurmSettings

Con la contabilidad de Slurm, puede integrar una base de datos contable externa para hacer lo siguiente:

  • Administre los usuarios o grupos de usuarios del clúster y otras entidades. Con esta capacidad, puede utilizar las funciones más avanzadas de Slurm, como la aplicación de límites de recursos, la distribución equitativa y QoS.

  • Recopile y guarde datos del trabajo, como el usuario que lo ejecutó, la duración del trabajo y los recursos que utiliza. Puede ver los datos guardados con la utilidad sacct.

nota

AWS ParallelCluster admite la contabilidad de Slurm para los servidores de bases de datos MySQL compatibles con Slurm.

Uso de la contabilidad de Slurm en AWS ParallelCluster

Antes de configurar la contabilidad de Slurm, debe disponer de un servidor de base de datos externo y de una base de datos que utilice el protocolo mysql.

Para configurar la contabilidad de Slurm con AWS ParallelCluster, debe definir lo siguiente:

  • La URI del servidor de base de datos externo en Database/Uri. El servidor debe existir y ser accesible desde el nodo principal.

  • Credenciales para acceder a la base de datos externa que se definen en Base de datos/PasswordSecretArny Base de datos/UserName. AWS ParallelClusterutiliza esta información para configurar la contabilidad a Slurm nivel y el slurmdbd servicio en el nodo principal. slurmdbdes el daemon que gestiona la comunicación entre el clúster y el servidor de base de datos.

Para ver un tutorial, consulte Crear un clúster con contabilidad Slurm.

nota

AWS ParallelCluster realiza un arranque básico de la base de datos de contabilidad de Slurm configurando el usuario predeterminado del clúster como administrador de la base de datos de Slurm. AWS ParallelCluster no añade ningún otro usuario a la base de datos de contabilidad. El cliente debe encargarse de administrar las entidades de contabilidad de la base de datos de Slurm.

AWS ParallelCluster configura slurmdbd para garantizar que un clúster tenga su propia base de datos de Slurm en el servidor de bases de datos. El mismo servidor de base de datos se puede utilizar en varios clústeres, pero cada clúster tiene su propia base de datos independiente. AWS ParallelCluster usa el nombre del clúster para definir el nombre de la base de datos en el parámetro StorageLoc del archivo de configuración de slurmdbd. Tenga en cuenta la siguiente situación. Una base de datos que está presente en el servidor de bases de datos incluye un nombre de clúster que no se corresponde con un nombre de clúster activo. En este caso, puede crear un clúster nuevo con ese nombre para asignarlo a esa base de datos. Slurm reutiliza la base de datos para el nuevo clúster.

aviso
  • No recomendamos configurar más de un clúster para usar la misma base de datos a la vez. Si lo hace, puede provocar problemas de rendimiento o incluso situaciones de bloqueo de la base de datos.

  • Si la contabilidad de Slurm está habilitada en el nodo principal de un clúster, recomendamos usar un tipo de instancia con una CPU potente, más memoria y un mayor ancho de banda de red. La contabilidad de Slurm puede aumentar la presión sobre el nodo principal del clúster.

En la arquitectura actual de la característica de contabilidad de Slurm en AWS ParallelCluster, cada clúster tiene su propia instancia del daemon slurmdbd, como se muestra en las configuraciones de ejemplo del siguiente diagrama.


     A configuration with two clusters that are connected to a MySQL server. Each cluster has their own slurmdbd daemon instance.
      Moreover, each cluster is connected to its own database through the server. Another configuration with a single cluster that has its own
       slurmdbd daemon instance. This configuration is connected to a MySQL server and is also connected to its own database through the
      server.

Si va a añadir funcionalidades personalizadas de varios clústeres o de federación de Slurm a su entorno de clústeres, todos los clústeres deben hacer referencia a la misma instancia de slurmdbd. Como alternativa, le recomendamos que habilite la contabilidad de Slurm en AWS ParallelCluster en un clúster y que configure manualmente los demás clústeres para que se conecten a los slurmdbd que están alojados en el primer clúster.

Si utiliza versiones de AWS ParallelCluster anteriores a 3.3.0, consulte el método alternativo para implementar la contabilidad de Slurm que se describe en esta entrada del blog sobre HPC.

Consideraciones sobre la contabilidad de Slurm

Base de datos y clúster en diferentes VPC

Para habilitar la contabilidad de Slurm, se necesita un servidor de base de datos que sirva de backend para las operaciones de lectura y escritura que realiza el daemon slurmdbd. Antes de crear o actualizar el clúster para habilitar la contabilidad de Slurm, el nodo principal debe poder acceder al servidor de base de datos.

Si necesita implementar el servidor de base de datos en una VPC distinta de la que usa el clúster, tenga en cuenta lo siguiente:

  • Para habilitar la comunicación entre el slurmdbd del clúster y el servidor de bases de datos, debe configurar la conectividad entre las dos VPC. Para obtener más información, consulte Interconexión de VPC en la Guía del usuario de Amazon Virtual Private Cloud.

  • Debe crear el grupo de seguridad que desee asociar al nodo principal de la VPC del clúster. Una vez emparejadas las dos VPC, está disponible la creación de enlaces cruzados entre los grupos de seguridad de la base de datos y los del clúster. Para obtener más información, consulte Reglas del grupo de seguridad en la Guía del usuario de Amazon Virtual Private Cloud.

Configuración del cifrado TLS entre slurmdbd y el servidor de la base de datos

Con la configuración de contabilidad de Slurm predeterminada que proporciona AWS ParallelCluster, slurmdbd establece una conexión cifrada TLS con el servidor de la base de datos, si el servidor admite el cifrado TLS. Los servicios de bases de datos de AWS, como Amazon RDS y Amazon Aurora admiten el cifrado TLS de forma predeterminada.

Puede requerir conexiones seguras en el servidor configurando el parámetro require_secure_transport en el servidor de la base de datos. Esto se configura en la CloudFormation plantilla proporcionada.

Siguiendo las prácticas recomendadas de seguridad, le recomendamos que habilite también la verificación de identidad del servidor en el cliente de slurmdbd. Para ello, configure el StorageParametersenslurmdbd.conf. Cargue el certificado de entidad de certificación del servidor en el nodo principal del clúster. A continuación, defina la opción SSL_CA de StorageParameters en slurmdbd.conf como la ruta del certificado de entidad de certificación del servidor en el nodo principal. De este modo, se habilita la verificación de la identidad del servidor en slurmdbd. Tras realizar estos cambios, reinicie el servicio slurmdbd para volver a establecer la conectividad con el servidor de la base de datos con la verificación de identidad habilitada.

Actualización de credenciales de la base de datos

Para actualizar los valores de Database/UserNameo PasswordSecretArn, primero debe detener la flota de procesamiento. Supongamos que se cambia el valor secreto que está almacenado en el secreto de AWS Secrets Manager, pero no su ARN. En esta situación, el clúster no actualiza automáticamente la contraseña de la base de datos con el nuevo valor. Para actualizar el clúster con el nuevo valor secreto, ejecute el siguiente comando desde el nodo principal.

$ sudo /opt/parallelcluster/scripts/slurm/update_slurm_database_password.sh
aviso

Para evitar perder datos de contabilidad, le recomendamos que cambie únicamente la contraseña de la base de datos cuando la flota de computación esté detenida.

Supervisión de la base de datos

Le recomendamos que habilite las características de supervisión de los servicios de base de datos de AWS. Para obtener más información, consulte la documentación sobre el monitoreo de Amazon RDS o el monitoreo de Amazon Aurora.