Du führst deinen ersten Job auf AWS ParallelCluster - AWS ParallelCluster
Überprüfen der InstallationErstellen Sie Ihren ersten ClusterLoggen Sie sich in Ihren Headnode einDu führst deinen ersten Job mit Slurm aus

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Du führst deinen ersten Job auf AWS ParallelCluster

Dieses Tutorial führt Sie durch die Ausführung Ihres ersten Hello World-Jobs am AWS ParallelCluster

Wenn Sie die AWS ParallelCluster Befehlszeilenschnittstelle (CLI) oder API verwenden, zahlen Sie nur für die AWS Ressourcen, die beim Erstellen oder Aktualisieren von AWS ParallelCluster Images und Clustern erstellt werden. Weitere Informationen finden Sie unter AWS Dienste verwendet von AWS ParallelCluster.

Die AWS ParallelCluster Benutzeroberfläche basiert auf einer serverlosen Architektur und Sie können sie in den meisten Fällen innerhalb der Kategorie „ AWS Kostenloses Kontingent“ verwenden. Weitere Informationen finden Sie unter AWS ParallelClusterDie Benutzeroberfläche kostet.

Voraussetzungen

Überprüfen der Installation

Zunächst überprüfen wir, ob sie AWS ParallelCluster korrekt installiert und konfiguriert ist, einschließlich der Abhängigkeit von Node.js. 

$ node --version
v16.8.0
$ pcluster version
{
  "version": "3.7.0"
}

Dies gibt die laufende Version von zurück AWS ParallelCluster.

Erstellen Sie Ihren ersten Cluster

Jetzt ist es an der Zeit, Ihren ersten Cluster zu erstellen. Da die Workload für dieses Tutorial nicht leistungsintensiv ist, können wir die Standard-Instance-Größe t2.micro verwenden. (Für Produktions-Workloads wählen Sie eine Instance-Größe, die Ihren Anforderungen am ehesten entspricht.) Rufen wir Ihren Cluster anhello-world.

$ pcluster create-cluster \
    --cluster-name hello-world \
    --cluster-configuration hello-world.yaml
Anmerkung

Der AWS-Region zu verwendende Befehl muss für die meisten pcluster Befehle angegeben werden. Wenn er nicht in der AWS_DEFAULT_REGION Umgebungsvariablen oder der region Einstellung im [default] Abschnitt der ~/.aws/config Datei angegeben ist, muss der --region Parameter in der pcluster Befehlszeile angegeben werden.

Wenn Sie in der Ausgabe eine Meldung zur Konfiguration erhalten, müssen Sie zur Konfiguration Folgendes ausführen AWS ParallelCluster: 

$ pcluster configure --config hello-world.yaml

Wenn der pcluster create-cluster Befehl erfolgreich ist, erhalten Sie eine Ausgabe, die der folgenden ähnelt: 

{
  "cluster": {
    "clusterName": "hello-world",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:xxx:stack/xxx",
    "region": "...",
    "version": "...",
    "clusterStatus": "CREATE_IN_PROGRESS"
  }
}

Sie überwachen die Erstellung des Clusters mithilfe von: 

$ pcluster describe-cluster --cluster-name hello-world

Die clusterStatus Berichte "CREATE_IN_PROGRESS" während der Clustererstellung. Der clusterStatus Übergang zu "CREATE_COMPLETE" erfolgt, wenn der Cluster erfolgreich erstellt wurde. Die Ausgabe liefert uns auch das publicIpAddress Ende privateIpAddress unseres Kopfknotens.

Loggen Sie sich in Ihren Headnode ein

Verwenden Sie Ihre OpenSSH-PEM-Datei, um sich bei Ihrem Headnode anzumelden. 

$ pcluster ssh --cluster-name hello-world -i /path/to/keyfile.pem

Sobald Sie angemeldet sind, führen Sie den Befehl sinfo aus, um zu bestätigen, dass Ihre Datenverarbeitungsknoten eingerichtet und konfiguriert sind. 

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
queue1*      up   infinite     10  idle~ queue1-dy-queue1t2micro-[1-10]

Die Ausgabe zeigt, dass wir in unserem Cluster eine Warteschlange mit bis zu zehn Knoten haben.

Du führst deinen ersten Job mit Slurm aus

Als Nächstes erstellen wir eine Aufgabe, die einen Moment inaktiv ist und dann ihren eigenen Hostnamen ausgibt. Erstellen Sie eine Datei mit dem Namen hellojob.sh und den folgenden Inhalten:

#!/bin/bash
sleep 30
echo "Hello World from $(hostname)"

Als Nächstes übermitteln Sie die Aufgabe mit sbatch und überprüfen, dass sie ausgeführt wird. 

$ sbatch hellojob.sh
Submitted batch job 2

Jetzt können Sie Ihre Warteschlange anzeigen und den Status der Aufgabe überprüfen. Die Bereitstellung einer neuen Amazon EC2 EC2-Instance wird im Hintergrund gestartet. Sie können den Status der Cluster-Instances mit dem sinfo Befehl überwachen.

$ squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
                 2    queue1 hellojob ec2-user CF       3:30      1 queue1-dy-queue1t2micro-1

Die Ausgabe zeigt, dass der Job an weitergeleitet wurdequeue1. Warten Sie 30 Sekunden, bis die Aufgabe beendet wird, und führen Sie squeue dann erneut aus. 

$ squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)

Jetzt, wo sich keine Aufgaben in der Warteschlange befinden, können wir die Ausgabe in unserem aktuellen Verzeichnis überprüfen. 

$ ls -l
total 8
-rw-rw-r-- 1 ec2-user ec2-user 57 Sep  1 14:25 hellojob.sh
-rw-rw-r-- 1 ec2-user ec2-user 43 Sep  1 14:30 slurm-2.out

In der Ausgabe sehen wir eine "out" -Datei. Wir können die Ergebnisse unseres Jobs sehen: 

$ cat slurm-2.out
Hello World from queue1-dy-queue1t2micro-1

Die Ausgabe zeigt auch, dass die Aufgabe auf Instance queue1-dy-queue1t2micro-1 erfolgreich ausgeführt wurde.

In dem Cluster, den Sie gerade erstellt haben, wird nur das Home-Verzeichnis von allen Knoten des Clusters gemeinsam genutzt.

Weitere Informationen zum Erstellen und Verwenden von Clustern finden Sie unterBewährte Methoden.

Wenn Ihre Anwendung gemeinsam genutzte Software, Bibliotheken oder Daten benötigt, sollten Sie die folgenden Optionen in Betracht ziehen: