Konfiguration der Slurm-CLI-Filter-Plugins auf einem AWS PCS-Cluster

Konfigurieren Sie CLI-Filter-Plugins, wenn Sie einen neuen AWS PCS-Cluster erstellen. Sie können CLI-Filter-Plugins auf vorhandenen Clustern mithilfe der Update-API oder der Update-Konsole aktivieren oder deaktivieren, ohne den Cluster neu erstellen zu müssen.

Voraussetzungen

Führen Sie die folgenden Aufgaben aus, bevor Sie die CLI-Filter-Plug-ins konfigurieren:

• Schreiben und testen Sie ein Lua-Skript, das die CLI Filter Plugin API implementiert

• Benennen Sie Ihr Lua-Skript genau cli_filter.lua

• Wählen Sie eine Methode für die Bereitstellung Ihres Skripts auf allen Cluster-Instances (AMI, S3 oder Dateisystem)

• Stellen Sie sicher, dass Sie Slurm Version 24.11 oder höher verwenden

Aktivieren Sie die CLI-Filter-Plugins auf einem neuen Cluster

AWS PCS console

1. Öffnen Sie die AWS PCS-Konsole unter https://console.aws.amazon.com/pcs/.

2. Klicken Sie im Navigationsbereich auf Cluster.

3. Wählen Sie Cluster erstellen.

4. Wählen Sie eine gültige Version von Slurm (Version 24.11 oder höher).

5. Erweitern Sie unter Scheduler-Einstellungen die Option Zusätzliche Scheduler-Einstellungen.

6. Fügen Sie eine neue benutzerdefinierte Slurm-Einstellung hinzu, bei der der Parametername auf CliFilterPlugins und der Parameterwert auf eingestellt sind. cli_filter/lua

7. Schließen Sie die verbleibende Cluster-Konfiguration ab und wählen Sie Create cluster aus.

AWS PCS API

Geben Sie die slurmCustomSettings Konfiguration in Ihrem Aufruf der CreateCluster API-Aktion an. Stellen Sie „parameterNameAn“ CliFilterPlugins und „parameterValueBiscli_filter/lua“ ein. Weitere Informationen finden Sie CreateClusterin der AWS PCS-API-Referenz.

Das folgende Beispiel verwendet die AWS CLI , um die CreateCluster API-Aktion aufzurufen. Die benutzerdefinierte Einstellung CliFilterPlugins=cli_filter/lua aktiviert CLI-Filter-Plugins.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=24.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

CLI-Filter-Plugin-Skripts bereitstellen

So stellen Sie CLI-Filter-Plugin-Skripts in Ihrem Cluster bereit

1. Stellen Sie sicher, dass in allen Knotengruppen, die in Compute AMIs verwendet werden, Slurm über das AWS PCS Slurm-Installationsprogramm installiert ist.

   Anmerkung

   Wenn Sie das AWS PCS-Beispiel-AMI für alle Compute-Knotengruppen verwenden, überspringen Sie diesen Schritt. Slurm ist bereits installiert.

2. Stellen Sie Ihr cli_filter.lua Skript /etc/aws/pcs/scheduler/slurm-<version>/cli_filter.lua auf allen Instanzen im Cluster bereit.

   Zum Beispiel für Slurm Version 24.11:

   /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua

3. Starten Sie alle Anmelde- und Rechenknoten mit Ihren vorbereiteten Knoten. AMIs

4. Testen Sie die Auftragsübermittlung, um sicherzustellen, dass das CLI-Filter-Plugin korrekt ausgeführt wird.

Aktivieren oder deaktivieren Sie CLI-Filter-Plugins auf vorhandenen Clustern

Sie können CLI-Filter-Plug-ins auf vorhandenen Clustern aktivieren oder deaktivieren, ohne Ihre Infrastruktur neu aufbauen zu müssen. Weitere Informationen finden Sie unter Aktualisierung eines Clusters in AWS PCS.

AWS PCS console

1. Öffnen Sie die AWS PCS-Konsole unter. https://console.aws.amazon.com/pcs/

2. Klicken Sie im Navigationsbereich auf Cluster.

3. Wählen Sie den zu aktualisierenden Cluster aus.

4. Wählen Sie Aktion bearbeiten aus.

5. Gehen Sie auf der Seite Cluster bearbeiten unter Zusätzliche Scheduler-Einstellungen wie folgt vor:

   • Um CLI-Filter-Plugins zu aktivieren: Fügen Sie eine neue benutzerdefinierte Slurm-Einstellung hinzu, bei der der Parametername auf CliFilterPlugins und der Parameterwert auf cli_filter/lua gesetzt sind.

   • Um CLI-Filter-Plugins zu deaktivieren: Entfernen Sie die vorhandene CliFilterPlugins Einstellung.

6. Wählen Sie Cluster aktualisieren, um die Änderungen zu übermitteln.

7. Überwachen Sie den Clusterstatus, der während des Vorgangs als „Aktualisierung“ und nach Abschluss der Aktualisierung als „Aktiv“ angezeigt wird.

AWS PCS API

Verwenden Sie die UpdateCluster API-Aktion, um CLI-Filter-Plugins zu aktivieren oder zu deaktivieren. Weitere Informationen finden Sie UpdateClusterin der AWS PCS-API-Referenz.

So aktivieren Sie CLI-Filter-Plugins auf einem vorhandenen Cluster:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

So deaktivieren Sie CLI-Filter-Plugins auf einem vorhandenen Cluster:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Erwartete Ergebnisse

Nachdem Sie die Konfiguration abgeschlossen haben:

• Ihr Cluster wurde mit aktiviertem CLI Filter Plugin erstellt

• Job-Eingaben lösen Ihre benutzerdefinierte Validierungslogik aus, bevor sie den Slurm-Controller erreichen

• Jobs, die nicht den Anforderungen entsprechen, werden mit Ihren benutzerdefinierten Fehlermeldungen abgelehnt

• Konforme Jobs werden normal über den Slurm-Scheduler abgewickelt

Fehlerbehebung

Das CLI-Filter-Plugin-Skript fehlt auf einem Knoten

Symptome: Die Auftragsübermittlung schlägt sofort mit einem Fehler beim Laden des Plugins fehl.

Wahrscheinliche Ursache: Das Skript wurde nicht für alle Instanzen bereitgestellt oder der Dateipfad oder der Name ist falsch.

Lösung: Stellen Sie sicher, dass das Skript auf allen Anmelde- und Rechenknoten mit dem exakten Dateinamen im richtigen Pfad vorhanden istcli_filter.lua.

Ungültige Konfiguration des CLI-Filter-Plug-ins

Symptome: Die Clustererstellung schlägt mit einem Validierungsfehler fehl.

Wahrscheinliche Ursache: CliFilterPlugins Der Parameter wurde nicht auf das cli_filter/lua Format gesetzt.

Lösung: Verwenden Sie den exakten Parameterwert cli_filter/lua inslurmCustomSettings.