Configurar plug-ins de filtro CLI do Slurm em um cluster PCS AWS

Configure os plug-ins de filtro CLI ao criar um novo cluster AWS PCS. Você pode ativar ou desativar os plug-ins de filtro CLI em clusters existentes usando a API de atualização ou o console sem recriar o cluster.

Pré-requisitos

Antes de configurar os plug-ins de filtro CLI, conclua estas tarefas:

• Escreva e teste um script Lua que implemente a API CLI Filter Plugin

• Nomeie seu script Lua com exatidão cli_filter.lua

• Escolha um método para implantar seu script em todas as instâncias do cluster (AMI, S3 ou sistema de arquivos)

• Verifique se você está usando o Slurm versão 24.11 ou posterior

Ativar plug-ins de filtro CLI em um novo cluster

AWS PCS console

1. Abra o console AWS PCS em https://console.aws.amazon.com/pcs/.

2. No painel de navegação, escolha Clusters.

3. Selecione Criar cluster.

4. Selecione uma versão válida do Slurm (versão 24.11 ou posterior).

5. Em Configurações do agendador, expanda Configurações adicionais do agendador.

6. Adicione uma nova configuração personalizada do Slurm com o nome do parâmetro definido como CliFilterPlugins e o valor do parâmetro definido como. cli_filter/lua

7. Conclua a configuração restante do cluster e escolha Criar cluster.

AWS PCS API

Forneça a slurmCustomSettings configuração em sua chamada para a ação CreateCluster da API. Defina parameterName para CliFilterPlugins e parameterValue paracli_filter/lua. Para obter mais informações, consulte CreateClustera Referência da API AWS PCS.

O exemplo a seguir usa o AWS CLI para chamar a ação CreateCluster da API. A configuração personalizada CliFilterPlugins=cli_filter/lua ativa os plug-ins de filtro CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=24.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Implantar scripts de plug-in de filtro CLI

Para implantar scripts do CLI Filter Plugin em seu cluster

1. Certifique-se de que todos os AMIs usados em grupos de nós de computação tenham o Slurm instalado por meio do instalador do AWS PCS Slurm.

   nota

   Se você usar o AWS PCS Sample AMI para todos os grupos de nós de computação, pule esta etapa. O Slurm já está instalado.

2. Implante seu cli_filter.lua script /etc/aws/pcs/scheduler/slurm-<version>/cli_filter.lua em todas as instâncias do cluster.

   Por exemplo, para a versão 24.11 do Slurm:

   /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua

3. Inicie todos os nós de login e computação usando seu preparado AMIs.

4. Teste o envio do trabalho para verificar se o plug-in de filtro CLI está sendo executado corretamente.

Ativar ou desativar plug-ins de filtro CLI em clusters existentes

Você pode ativar ou desativar os plug-ins de filtro CLI em clusters existentes sem reconstruir sua infraestrutura. Para obter mais informações, consulte Atualizando um cluster no AWS PCS.

AWS PCS console

1. Abra o console AWS PCS em https://console.aws.amazon.com/pcs/.

2. No painel de navegação, escolha Clusters.

3. Selecione o cluster a ser atualizado.

4. Escolha Editar ação.

5. Na página Editar cluster, em Configurações adicionais do agendador:

   • Para habilitar os plug-ins de filtro CLI: adicione uma nova configuração personalizada do Slurm com o nome do parâmetro definido como CliFilterPlugins e o valor do parâmetro definido como. cli_filter/lua

   • Para desativar os plug-ins de filtro CLI: remova a configuração existenteCliFilterPlugins.

6. Escolha Atualizar cluster para enviar as alterações.

7. Monitore o status do cluster, que aparece como “Atualizando” durante o processo e “Ativo” quando a atualização é concluída.

AWS PCS API

Use a ação da UpdateCluster API para ativar ou desativar os plug-ins de filtro CLI. Para obter mais informações, consulte UpdateClustera Referência da API AWS PCS.

Para habilitar plug-ins de filtro CLI em um cluster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Para desativar os plug-ins de filtro CLI em um cluster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Resultados esperados

Depois de concluir a configuração:

• Seu cluster é criado com o CLI Filter Plugin ativado

• Os envios de trabalhos acionam sua lógica de validação personalizada antes de chegar ao controlador Slurm

• Trabalhos não compatíveis são rejeitados com suas mensagens de erro personalizadas

• Os trabalhos compatíveis prosseguem normalmente por meio do agendador Slurm

Solução de problemas

Falta o script do plug-in de filtro CLI em qualquer nó

Sintomas: O envio do trabalho falha imediatamente com erro de carregamento do plug-in.

Causa provável: script não implantado em todas as instâncias ou nome ou caminho de arquivo incorreto.

Resolução: verifique se o script existe no caminho correto em todos os nós de login e computação com o nome de arquivo cli_filter.lua exato.

Configuração inválida do plug-in de filtro CLI

Sintomas: falha na criação do cluster com erro de validação.

Causa provável: CliFilterPlugins parâmetro não definido para cli_filter/lua formatar.

Resolução: Use o valor exato do parâmetro cli_filter/lua emslurmCustomSettings.