Slurmcontabilidad conAWS ParallelCluster

A partir de la versión 3.3.0,AWS ParallelCluster admite laSlurm contabilidad con el parámetro de configuración del clúster SlurmSettings/Database.

Con laSlurm contabilidad, puede integrar una base de datos contable externa para hacer lo siguiente:

• Administre los usuarios o grupos de usuarios del clúster y otras entidades. Con esta función, puede utilizar las funciones más avanzadas, como la aplicaciónSlurm del límite de recursos, el uso equitativo y la calidad de servicio (QoS).

• Recopile y guarde datos del trabajo, como el usuario que lo ejecutó, la duración del trabajo y los recursos que utiliza. Puede ver los datos guardados con lasacct utilidad.

nota

AWS ParallelClusteradmite laSlurm contabilidad de los servidores de bases de datos MySQLSlurm compatibles.

Trabajando con laSlurm contabilidad enAWS ParallelCluster

Antes de configurar laSlurm contabilidad, debe tener un servidor de base de datos externo existente y una base de datos que utilicemysql el protocolo.

Para configurar laSlurm contabilidad conAWS ParallelCluster, debe definir lo siguiente:

• El URI del servidor de base de datos externo en Database/Uri. El servidor debe existir y ser accesible desde el nodo principal.

• Credenciales para acceder a la base de datos externa que se definen en Base de datos/PasswordSecretArny Base de datos/UserName. AWS ParallelClusterutiliza esta información para configurar la contabilidad en elSlurm nivel y elslurmdbd servicio en el nodo principal. slurmdbdes el daemon que administra la comunicación entre el clúster y el servidor de la base de datos.

Para ver un tutorial, consulteCrear un clúster conSlurm contabilidad.

nota

AWS ParallelClusterrealiza un arranque básico de la base de datos deSlurm contabilidad mediante la configuración del usuario del clúster predeterminado como administrador de laSlurm base de datos. AWS ParallelClusterno añade ningún otro usuario a la base de datos de cuentas. El cliente es responsable de gestionar las entidades contables de laSlurm base de datos.

AWS ParallelClusterse configura slurmdbdpara garantizar que un clúster tenga su propiaSlurm base de datos en el servidor de bases de datos. Se puede usar el mismo servidor de base de datos en varios clústeres, pero cada clúster tiene su propia base de datos independiente. AWS ParallelClusterusa el nombre del clúster para definir el nombre de la base de datos en el StorageLocparámetro del archivoslurmdbd de configuración. Analice la siguiente situación. Una base de datos que está presente en el servidor de bases de datos incluye un nombre de clúster que no se asigna a un nombre de clúster activo. En este caso, puede crear un nuevo clúster con ese nombre de clúster para asignarlo a esa base de datos. Slurmreutiliza la base de datos para el nuevo clúster.

aviso

• No recomendamos configurar más de un clúster para usar la misma base de datos a la vez. Hacerlo puede provocar problemas de rendimiento o incluso situaciones de bloqueo en la base de datos.

• Si laSlurm contabilidad está habilitada en el nodo principal de un clúster, recomendamos utilizar un tipo de instancia con una CPU potente, más memoria y un mayor ancho de banda de red. Slurmla contabilidad puede aumentar la presión sobre el nodo principal del clúster puede aumentar la presión sobre el nodo principal del clúster.

En la arquitectura actual de la función deAWS ParallelClusterSlurm contabilidad, cada clúster tiene su propia instancia delslurmdbd demonio, tal como se muestra en los ejemplos de configuraciones del siguiente diagrama.

Si agregas funcionalidades personalizadas deSlurm múltiples clústeres o de federación a tu entorno de clústeres, todos los clústeres deben hacer referencia a la mismaslurmdbd instancia. Como alternativa, le recomendamos que habilite laAWS ParallelClusterSlurm contabilidad en un clúster y configure manualmente los demás clústeres para que se conecten a losslurmdbd que están alojados en el primer clúster.

Si utilizasAWS ParallelCluster versiones anteriores a la versión 3.3.0, consulta el método alternativo para implementar laSlurm contabilidad que se describe en esta entrada de blog sobre HPC.

Slurmconsideraciones contables

Base de datos y clúster en diferentes VPC

Para habilitar laSlurm contabilidad, se necesita un servidor de base de datos que sirva de backend para las operaciones de lectura y escritura que realiza elslurmdbd demonio. Antes de crear o actualizar el clúster para habilitar laSlurm contabilidad, el nodo principal debe poder acceder al servidor de la base de datos.

Si necesita implementar el servidor de base de datos en una VPC distinta de la que usa el clúster, tenga en cuenta lo siguiente:

• Para habilitar la comunicación entreslurmdbd el servidor del clúster y el servidor de base de datos, debe configurar la conectividad entre las dos VPC. Para obtener más información, consulte Puntos de la VPC en la Guía del usuario de Amazon Virtual Private Cloud.

• Debe crear el grupo de seguridad que desee adjuntar al nodo principal de la VPC del clúster. Una vez que se hayan interconectado las dos VPC, estará disponible la reticulación entre los grupos de seguridad del lado de la base de datos y del lado del clúster. Para obtener más información, consulte Grupos de seguridad de la Guía del usuario de Amazon Virtual Private Cloud.

Configuración del cifrado TLS entreslurmdbd y el servidor de bases de datos

Con la configuración deSlurm contabilidad predeterminada queAWS ParallelCluster proporciona,slurmdbd establece una conexión cifrada TLS con el servidor de base de datos, si el servidor admite el cifrado TLS. AWSservicios de bases de datos como Amazon RDS yAmazon Aurora admiten el cifrado TLS de forma predeterminada.

Puede requerir conexiones seguras en el lado del servidor configurando elrequire_secure_transport parámetro en el servidor de base de datos. Esto se configura en la CloudFormation plantilla proporcionada.

Siguiendo las prácticas recomendadas de seguridad de seguridad, le aconsejamos que habilite también la verificación de identidad del servidor en elslurmdbd cliente. Para ello, configure el StorageParametersenslurmdbd.conf. Cargue el certificado de CA del servidor al nodo principal del clúster. A continuación,slurmdbd.conf defina la opción SSL_CA deStorageParameters in en la ruta del certificado de CA del servidor en el nodo principal. Esto permite verificar la identidad del servidor de formaslurmdbd adicional. Tras realizar estos cambios, reinicie elslurmdbd servicio para restablecer la conectividad con el servidor de base de datos con la verificación de identidad habilitada.

Actualización de credenciales de la base de datos de

Para actualizar los valores de Database/UserNameor PasswordSecretArn, primero debe detener la flota de procesamiento. Supongamos que el valor secreto que está almacenado en elAWS Secrets Manager secreto cambia y su ARN no cambia. En esta situación, el clúster no actualiza automáticamente la contraseña de la base de datos al nuevo valor. Para actualizar el clúster para el nuevo valor secreto, ejecute el siguiente comando desde el nodo principal.

$ sudo /opt/parallelcluster/scripts/slurm/update_slurm_database_password.sh

aviso

Para evitar perder datos contables, le recomendamos que solo cambie la contraseña de la base de datos cuando se detenga la flota de cómputos.

Supervisión de bases de datos

Le aconsejamos que habilite las características de monitorización de los servicios deAWS base de datos de datos. Para obtener más información, consulte la documentación de supervisión de Amazon RDS o de supervisión de Amazon Aurora.