Configurare i plugin del filtro CLI Slurm su un cluster PCS AWS

Configura i plugin di filtro CLI quando crei un nuovo AWS cluster PCS. Puoi abilitare o disabilitare i plugin di filtro CLI sui cluster esistenti utilizzando l'API o la console di aggiornamento senza ricreare il cluster.

Prerequisiti

Prima di configurare i plugin di filtro CLI, completa queste attività:

• Scrivi e testa uno script Lua che implementa l'API CLI Filter Plugin

• Assegna un nome esatto al tuo script Lua cli_filter.lua

• Scegli un metodo per distribuire lo script su tutte le istanze del cluster (AMI, S3 o file system)

• Verifica di utilizzare Slurm versione 24.11 o successiva

Abilita i plugin del filtro CLI su un nuovo cluster

AWS PCS console

1. Apri la console AWS PCS all'indirizzo. https://console.aws.amazon.com/pcs/

2. Nel pannello di navigazione scegliere Cluster.

3. Scegli Crea cluster.

4. Seleziona una versione valida di Slurm (versione 24.11 o successiva).

5. In Impostazioni dell'utilità di pianificazione, espandi Impostazioni di pianificazione aggiuntive.

6. Aggiungi una nuova impostazione personalizzata Slurm con il nome del parametro impostato su CliFilterPlugins e il valore del parametro impostato su. cli_filter/lua

7. Completa la configurazione rimanente del cluster e scegli Crea cluster.

AWS PCS API

Fornisci la slurmCustomSettings configurazione nella chiamata all'azione CreateCluster API. Imposta «parameterNameto» CliFilterPlugins e «parameterValuetocli_filter/lua». Per ulteriori informazioni, vedere CreateClusternel AWS PCS API Reference.

L'esempio seguente utilizza AWS CLI per chiamare l'azione CreateCluster API. L'impostazione personalizzata CliFilterPlugins=cli_filter/lua abilita i plugin di filtro CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=24.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Implementa gli script del plugin CLI Filter

Per distribuire gli script del CLI Filter Plugin nel tuo cluster

1. Assicurati che tutti i gruppi di nodi AMIs utilizzati nei gruppi di nodi di calcolo abbiano Slurm installato tramite il programma di installazione PCS Slurm. AWS

   Nota

   Se utilizzi l'AMI AWS PCS Sample per tutti i gruppi di nodi di calcolo, salta questo passaggio. Slurm è già installato.

2. Implementa cli_filter.lua lo script /etc/aws/pcs/scheduler/slurm-<version>/cli_filter.lua su tutte le istanze del cluster.

   Ad esempio, per la versione 24.11 di Slurm:

   /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua

3. Avvia tutti i nodi di accesso e calcolo utilizzando i tuoi predisposti. AMIs

4. Verifica l'invio del lavoro per verificare che il plugin CLI Filter venga eseguito correttamente.

Abilita o disabilita i plugin di filtro CLI su cluster esistenti

Puoi abilitare o disabilitare i plugin di filtro CLI sui cluster esistenti senza ricostruire l'infrastruttura. Per ulteriori informazioni, consulta Aggiornamento di un cluster in AWS PCS.

AWS PCS console

1. Apri la console PCS all'indirizzo. AWS https://console.aws.amazon.com/pcs/

2. Nel pannello di navigazione scegliere Cluster.

3. Seleziona il cluster da aggiornare.

4. Scegli Modifica azione.

5. Nella pagina Modifica cluster, in Impostazioni aggiuntive dello scheduler:

   • Per abilitare i plugin del filtro CLI: aggiungi una nuova impostazione personalizzata Slurm con il nome del parametro impostato su CliFilterPlugins e il valore del parametro impostato su. cli_filter/lua

   • Per disabilitare i plugin del filtro CLI: rimuovi l'impostazione esistente. CliFilterPlugins

6. Scegli Aggiorna cluster per inviare le modifiche.

7. Monitora lo stato del cluster, che viene visualizzato come «Aggiornamento» durante il processo e «Attivo» quando l'aggiornamento è completo.

AWS PCS API

Utilizza l'azione UpdateCluster API per abilitare o disabilitare i plugin del filtro CLI. Per ulteriori informazioni, vedere UpdateClusternel AWS PCS API Reference.

Per abilitare i plugin di filtro CLI su un cluster esistente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Per disabilitare i plugin del filtro CLI su un cluster esistente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Risultato previsto

Dopo aver completato la configurazione:

• Il cluster viene creato con il plug-in CLI Filter attivato

• Gli invii di lavoro attivano la tua logica di convalida personalizzata prima di raggiungere il controller Slurm

• I lavori non conformi vengono rifiutati con i tuoi messaggi di errore personalizzati

• I lavori conformi procedono normalmente tramite lo scheduler Slurm

Risoluzione dei problemi

Script CLI Filter Plugin mancante su qualsiasi nodo

Sintomi: l'invio del Job fallisce immediatamente con un errore di caricamento del plugin.

Causa probabile: lo script non è stato distribuito su tutte le istanze o il percorso o il nome del file non sono corretti.

Risoluzione: verifica che lo script esista nel percorso corretto su tutti i nodi di accesso e di calcolo con il nome file esatto. cli_filter.lua

Configurazione del plugin del filtro CLI non valida

Sintomi: la creazione del cluster non riesce e causa un errore di convalida.

Probabile causa: CliFilterPlugins parametro non impostato sul cli_filter/lua formato.

Risoluzione: utilizza il valore esatto del parametro cli_filter/lua inslurmCustomSettings.