Configuration des plugins de filtre CLI Slurm sur un cluster PCS AWS

Configurez les plug-ins de filtre CLI lorsque vous créez un nouveau cluster AWS PCS. Vous pouvez activer ou désactiver les plug-ins de filtrage CLI sur les clusters existants à l'aide de l'API de mise à jour ou de la console sans recréer le cluster.

Conditions préalables

Avant de configurer les plug-ins de filtre CLI, effectuez les tâches suivantes :

• Écrire et tester un script Lua qui implémente l'API du plugin CLI Filter

• Nommez exactement votre script Lua cli_filter.lua

• Choisissez une méthode pour déployer votre script sur toutes les instances de cluster (AMI, S3 ou système de fichiers)

• Vérifiez que vous utilisez la version 24.11 ou ultérieure de Slurm

Activer les plug-ins de filtrage CLI sur un nouveau cluster

AWS PCS console

1. Ouvrez la console AWS PCS à l'adresse https://console.aws.amazon.com/pcs/.

2. Dans le panneau de navigation, choisissez Clusters.

3. Choisissez Créer un cluster.

4. Sélectionnez une version valide de Slurm (version 24.11 ou ultérieure).

5. Sous Paramètres du planificateur, développez Paramètres supplémentaires du planificateur.

6. Ajoutez un nouveau paramètre personnalisé Slurm avec le nom du paramètre défini sur CliFilterPlugins et la valeur du paramètre définie sur. cli_filter/lua

7. Terminez la configuration de cluster restante et choisissez Create cluster.

AWS PCS API

Fournissez la slurmCustomSettings configuration dans votre appel à l'action d'CreateClusterAPI. Réglez le parameterName point CliFilterPlugins et parameterValue le pointcli_filter/lua. Pour plus d'informations, consultez le CreateClustermanuel de référence de l'API AWS PCS.

L'exemple suivant utilise le AWS CLI pour appeler l'action d'CreateClusterAPI. Le paramètre personnalisé CliFilterPlugins=cli_filter/lua active les plug-ins de filtre CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=24.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Déployer des scripts du plugin CLI Filter

Pour déployer des scripts du plug-in CLI Filter sur votre cluster

1. Assurez-vous que Slurm AMIs est installé sur tous les groupes de nœuds de calcul via le programme d'installation de AWS PCS Slurm.

   Note

   Si vous utilisez l'AMI AWS PCS Sample pour tous les groupes de nœuds de calcul, ignorez cette étape. Slurm est déjà installé.

2. Déployez votre cli_filter.lua script /etc/aws/pcs/scheduler/slurm-<version>/cli_filter.lua sur toutes les instances du cluster.

   Par exemple, pour la version 24.11 de Slurm :

   /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua

3. Lancez tous les nœuds de connexion et de calcul à l'aide de votre système préparé AMIs.

4. Testez la soumission des tâches pour vérifier que le plug-in CLI Filter s'exécute correctement.

Activer ou désactiver les plug-ins de filtrage CLI sur les clusters existants

Vous pouvez activer ou désactiver les plug-ins de filtrage CLI sur les clusters existants sans avoir à reconstruire votre infrastructure. Pour de plus amples informations, veuillez consulter Mettre à jour un cluster dans AWS PCS.

AWS PCS console

1. Ouvrez la console AWS PCS à l'adresse https://console.aws.amazon.com/pcs/.

2. Dans le panneau de navigation, choisissez Clusters.

3. Sélectionnez le cluster à mettre à jour.

4. Choisissez l'action Modifier.

5. Sur la page Modifier le cluster, sous Paramètres supplémentaires du planificateur :

   • Pour activer les plug-ins de filtrage CLI : ajoutez un nouveau paramètre personnalisé Slurm avec le nom du paramètre défini sur CliFilterPlugins et la valeur du paramètre définie sur. cli_filter/lua

   • Pour désactiver les plug-ins de filtrage CLI : supprimez le CliFilterPlugins paramètre existant.

6. Choisissez Mettre à jour le cluster pour soumettre les modifications.

7. Surveillez l'état du cluster, qui s'affiche comme « Mise à jour » pendant le processus et « Actif » une fois la mise à jour terminée.

AWS PCS API

Utilisez l'action UpdateCluster API pour activer ou désactiver les plug-ins de filtre CLI. Pour plus d'informations, consultez le UpdateClustermanuel de référence de l'API AWS PCS.

Pour activer les plug-ins de filtrage CLI sur un cluster existant :

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Pour désactiver les plug-ins de filtrage CLI sur un cluster existant, procédez comme suit :

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Résultats attendus

Après avoir terminé la configuration :

• Votre cluster est créé avec le plug-in CLI Filter activé

• Les offres d'emploi déclenchent votre logique de validation personnalisée avant d'atteindre le contrôleur Slurm

• Les tâches non conformes sont rejetées avec vos messages d'erreur personnalisés

• Les tâches conformes se déroulent normalement via le planificateur Slurm

Résolution des problèmes

Script du plugin CLI Filter manquant sur n'importe quel nœud

Symptômes : la soumission du Job échoue immédiatement avec une erreur de chargement du plugin.

Cause probable : le script n'a pas été déployé sur toutes les instances ou le chemin ou le nom du fichier est incorrect.

Solution : Vérifiez que le script existe au bon chemin sur tous les nœuds de connexion et de calcul avec le nom de fichier exactcli_filter.lua.

Configuration du plugin de filtre CLI non valide

Symptômes : la création du cluster échoue en raison d'une erreur de validation.

Cause probable : CliFilterPlugins le paramètre n'est pas défini sur le cli_filter/lua format.

Résolution : utilisez la valeur exacte du paramètre cli_filter/lua dansslurmCustomSettings.