Configurar los complementos de filtro CLI de Slurm en un AWS clúster de PCS

Configure los complementos de filtro CLI al crear un nuevo clúster de AWS PCS. Puede habilitar o deshabilitar los complementos de filtro CLI en los clústeres existentes mediante la API de actualización o la consola sin volver a crear el clúster.

Requisitos previos

Antes de configurar los complementos de filtro CLI, complete estas tareas:

• Escriba y pruebe un script de Lua que implemente la API del complemento CLI Filter

• Asigne un nombre exacto a su script de Lua cli_filter.lua

• Elija un método para implementar el script en todas las instancias del clúster (AMI, S3 o sistema de archivos)

• Compruebe que utiliza la versión 24.11 o posterior de Slurm

Habilitar los complementos de filtro CLI en un clúster nuevo

AWS PCS console

1. Abra la consola AWS PCS en https://console.aws.amazon.com/pcs/.

2. En el panel de navegación, seleccione Clusters (Clústeres).

3. Elija Create cluster.

4. Seleccione una versión válida de Slurm (versión 24.11 o posterior).

5. En Configuración del programador, expanda Configuración adicional del programador.

6. Añada una nueva configuración personalizada de Slurm con el nombre del parámetro establecido en CliFilterPlugins y el valor del parámetro establecido en. cli_filter/lua

7. Complete la configuración del clúster restante y elija Crear clúster.

AWS PCS API

Proporciona la slurmCustomSettings configuración en tu llamada a la acción de la CreateCluster API. Defina el parameterName para CliFilterPlugins y parameterValue el paracli_filter/lua. Para obtener más información, consulte la referencia CreateClusterde la API de AWS PCS.

En el siguiente ejemplo, se utiliza AWS CLI para llamar a la acción CreateCluster de la API. La configuración personalizada CliFilterPlugins=cli_filter/lua habilita los complementos de filtro CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=24.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Implementar scripts del complemento de filtro CLI

Para implementar scripts del complemento de filtro CLI en su clúster

1. Asegúrese de que todos los que AMIs se utilizan en los grupos de nodos de cómputo tengan Slurm instalado mediante el instalador AWS PCS Slurm.

   nota

   Si usa la AMI de muestra de AWS PCS para todos los grupos de nodos de cómputo, omita este paso. Slurm ya está instalado.

2. Implemente su cli_filter.lua script /etc/aws/pcs/scheduler/slurm-<version>/cli_filter.lua en todas las instancias del clúster.

   Por ejemplo, para la versión 24.11 de Slurm:

   /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua

3. Inicie todos los nodos de inicio de sesión y cálculo con el que esté preparado. AMIs

4. Pruebe el envío del trabajo para verificar que el complemento de filtro CLI se ejecute correctamente.

Habilitar o deshabilitar los complementos de filtro CLI en los clústeres existentes

Puede habilitar o deshabilitar los complementos de filtro CLI en los clústeres existentes sin necesidad de reconstruir la infraestructura. Para obtener más información, consulte Actualización de un clúster en AWS PCS.

AWS PCS console

1. Abra la consola AWS PCS en https://console.aws.amazon.com/pcs/.

2. En el panel de navegación, seleccione Clusters (Clústeres).

3. Seleccione el clúster que desee actualizar.

4. Elija Editar acción.

5. En la página Editar clúster, en Configuración adicional del programador:

   • Para habilitar los complementos de filtro CLI: agregue una nueva configuración personalizada de Slurm con el nombre del parámetro establecido en CliFilterPlugins y el valor del parámetro establecido en. cli_filter/lua

   • Para deshabilitar los complementos de filtro CLI: elimine la CliFilterPlugins configuración existente.

6. Seleccione Actualizar clúster para enviar los cambios.

7. Supervisa el estado del clúster, que aparece como «Actualizando» durante el proceso y «Activo» cuando se completa la actualización.

AWS PCS API

Use la acción de la UpdateCluster API para habilitar o deshabilitar los complementos de filtro CLI. Para obtener más información, consulte la referencia UpdateClusterde la API de AWS PCS.

Para habilitar los complementos de filtro CLI en un clúster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Para deshabilitar los complementos de filtro CLI en un clúster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Resultados esperados

Después de completar la configuración:

• El clúster se crea con el complemento de filtro CLI activado

• Los envíos de trabajos activan su lógica de validación personalizada antes de llegar al controlador Slurm

• Los trabajos no conformes se rechazan con tus mensajes de error personalizados

• Los trabajos que cumplen con los requisitos se procesan normalmente a través del programador Slurm

Resolución de problemas

Falta el script del complemento de filtro CLI en ningún nodo

Síntomas: El envío del trabajo falla inmediatamente y se produce un error al cargar el plugin.

Causa probable: el script no se implementó en todas las instancias o la ruta o el nombre del archivo son incorrectos.

Solución: compruebe que el script existe en la ruta correcta en todos los nodos de inicio de sesión y procesamiento con el nombre de archivo exactocli_filter.lua.

Configuración del complemento de filtro CLI no válida

Síntomas: la creación del clúster falla debido a un error de validación.

Causa probable: el CliFilterPlugins parámetro no está configurado para cli_filter/lua formatear.

Resolución: utilice el valor exacto del parámetro cli_filter/lua enslurmCustomSettings.