Konfigurieren und erstellen Sie einen Cluster mit der AWS ParallelCluster Befehlszeilenschnittstelle - AWS ParallelCluster
Konfigurieren und erstellen Sie Ihren ersten Cluster

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren und erstellen Sie einen Cluster mit der AWS ParallelCluster Befehlszeilenschnittstelle

Führen Sie nach der Installation AWS ParallelCluster die folgenden Konfigurationsschritte aus.

Stellen Sie sicher, dass Ihr AWS Konto über eine Rolle verfügt, die die für die Ausführung der pcluster CLI erforderlichen Berechtigungen umfasst. Weitere Informationen finden Sie unter AWS ParallelCluster Beispiele pcluster für Benutzerrichtlinien.

Richten Sie Ihre AWS Anmeldeinformationen ein. Weitere Informationen finden Sie unter Konfigurieren der AWS CLI im AWS CLI -Benutzerhandbuch.

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

Der AWS-Region Ort, an dem der Cluster gestartet wird, muss mindestens ein Amazon EC2 EC2-Schlüsselpaar haben. Weitere Informationen dazu finden Sie unter Amazon-EC2-Schlüsselpaare im Amazon-EC2-Benutzerhandbuch für Linux-Instances.

Wenn Sie die AWS ParallelCluster Befehlszeilenschnittstelle (CLI) verwenden, zahlen Sie nur für die AWS Ressourcen, die beim Erstellen oder Aktualisieren von AWS ParallelCluster Images und Clustern erstellt werden. Weitere Informationen finden Sie unter AWSDienste verwendet von AWS ParallelCluster.

Konfigurieren und erstellen Sie Ihren ersten Cluster

Erstellen Sie Ihren ersten Cluster, indem Sie den pcluster configure CLI-Befehl verwenden, um einen Assistenten zu starten, der Sie zur Eingabe aller Informationen auffordert, die für die Konfiguration und Erstellung Ihres Clusters erforderlich sind. Die Einzelheiten der Sequenz unterscheiden sich bei der Verwendung AWS Batch als Scheduler von der Verwendung. Slurm

Slurm
$  pcluster configure --config config-file.yaml

Wählen Sie aus der Liste der gültigen AWS-Region Bezeichner den Ort aus, AWS-Region an dem Ihr Cluster ausgeführt werden soll.

Anmerkung

Die AWS-Regionen angezeigte Liste basiert auf der Partition Ihres Kontos und enthält nur die Partitionen, AWS-Regionen die für Ihr Konto aktiviert sind. Weitere Informationen zur Aktivierung AWS-Regionen für Ihr Konto finden Sie unter Verwaltung AWS-Regionen in der Allgemeine AWS-Referenz. Das gezeigte Beispiel stammt aus der AWS globalen Partition. Wenn sich Ihr Konto in der AWS GovCloud (US) Partition befindet, werden nur AWS-Regionen in dieser Partition aufgeführt (gov-us-east-1undgov-us-west-1). Ebenso werden nur cn-north-1 und cn-northwest-1 angezeigt, wenn sich Ihr Konto in der AWS chinesischen Partition befindet. Eine vollständige Liste der AWS-Regionen unterstützten AWS ParallelCluster Programme finden Sie unterUnterstützte Regionen für AWS ParallelCluster.

Allowed values for AWS-Region ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS-Region ID [ap-northeast-1]:

Das key pair wird aus den Schlüsselpaaren ausgewählt, die in der ausgewählten AWS-Region Version bei Amazon EC2 registriert sind. Wählen Sie das key pair:

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

Wählen Sie den Scheduler aus, der mit dem Cluster verwendet werden soll.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

Wählen Sie das Betriebssystem aus.

Allowed values for Operating System:
1. alinux2
2. centos7
3. ubuntu2204
4. ubuntu2004
5. rhel8
Operating System [alinux2]:

Wählen Sie den Instanztyp des Hauptknotens aus:

Head node instance type [t2.micro]:

Wählen Sie die Warteschlangenkonfiguration. Hinweis: Der Instanztyp kann nicht für mehrere Rechenressourcen in derselben Warteschlange angegeben werden.

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

Ermöglichen Sie EFA, Anwendungen, die ein hohes Maß an Kommunikation zwischen den Instanzen erfordern, in großem Umfang ohne zusätzliche AWS Kosten auszuführen:

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

Nachdem die vorherigen Schritte abgeschlossen sind, entscheiden Sie, ob Sie eine vorhandene VPC verwenden oder eine VPC für AWS ParallelCluster Sie erstellen lassen möchten. Wenn Sie keine ordnungsgemäß konfigurierte VPC haben, AWS ParallelCluster können Sie eine neue für Sie erstellen. Es platziert entweder sowohl den Kopf- als auch den Rechenknoten im selben öffentlichen Subnetz oder nur den Hauptknoten in einem öffentlichen Subnetz mit allen Rechenknoten in einem privaten Subnetz. Wenn Sie eine VPC AWS ParallelCluster erstellen lassen, müssen Sie entscheiden, ob sich alle Knoten in einem öffentlichen Subnetz befinden sollen. Weitere Informationen finden Sie unter Netzwerkkonfigurationen.

Wenn Sie Ihren Cluster für die Verwendung von Instance-Typen mit mehreren Netzwerkschnittstellen oder einer Netzwerkkarte konfigurieren, finden Sie weitere Netzwerkkonfigurationen Netzwerkanforderungen unter.

Es ist möglich, Ihr Kontingent für die Anzahl der in a AWS-Region zulässigen VPCs zu erreichen. Das Standardkontingent beträgt fünf VPCs für a. AWS-Region Weitere Informationen zu diesem Kontingent und dazu, wie Sie eine Erhöhung beantragen können, finden Sie unter VPC und Subnetze im Amazon VPC-Benutzerhandbuch.

Wichtig

VPCs, die von erstellt wurden, aktivieren standardmäßig AWS ParallelCluster keine VPC Flow Logs. Mit VPC Flow Logs können Sie Informationen über den IP-Verkehr erfassen, der zu und von Netzwerkschnittstellen in Ihren VPCs fließt. Weitere Informationen finden Sie unter VPC-Flow-Protokolle im Amazon-VPC-Benutzerhandbuch.

Wenn Sie eine VPC AWS ParallelCluster erstellen lassen, stellen Sie sicher, dass Sie entscheiden, ob sich alle Knoten in einem öffentlichen Subnetz befinden sollen.

Anmerkung

Wenn Sie möchten1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster wird ein NAT-Gateway erstellt, das zusätzliche Kosten verursacht, auch wenn Sie Ressourcen im kostenlosen Kontingent angeben.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Wenn Sie keine neue VPC erstellen, müssen Sie eine vorhandene VPC auswählen.

Wenn Sie die VPC AWS ParallelCluster erstellen möchten, notieren Sie sich die VPC-ID, damit Sie sie später AWS CLI löschen können.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Nachdem die VPC ausgewählt wurde, entscheiden Sie, ob Sie vorhandene Subnetze verwenden oder neue erstellen möchten.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
AWS Batch
$  pcluster configure --config config-file.yaml

Wählen Sie aus der Liste der gültigen AWS-Region Kennungen den Ort aus, AWS-Region an dem Ihr Cluster ausgeführt werden soll.

Anmerkung

Die AWS-Regionen angezeigte Liste basiert auf der Partition Ihres Kontos. Es enthält nur AWS-Regionen die, die für Ihr Konto aktiviert sind. Weitere Informationen zur Aktivierung AWS-Regionen für Ihr Konto finden Sie unter Verwaltung AWS-Regionen in der Allgemeine AWS-Referenz. Das gezeigte Beispiel stammt aus der AWS globalen Partition. Wenn sich Ihr Konto in der AWS GovCloud (US) Partition befindet, werden nur AWS-Regionen in dieser Partition aufgeführt (gov-us-east-1undgov-us-west-1). Ebenso werden nur cn-north-1 und cn-northwest-1 angezeigt, wenn sich Ihr Konto in der AWS chinesischen Partition befindet. Eine vollständige Liste der AWS-Regionen unterstützten AWS ParallelCluster Programme finden Sie unterUnterstützte Regionen für AWS ParallelCluster.

Allowed values for AWS-Region ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS-Region ID [us-east-1]:

Das key pair wird aus den bei Amazon EC2 registrierten Schlüsselpaaren im ausgewählten Bereich ausgewählt AWS-Region. Wählen Sie das key pair:

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

Wählen Sie den Scheduler aus, der mit dem Cluster verwendet werden soll.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

Wenn awsbatch als Scheduler ausgewählt wird, wird alinux2 als Betriebssystem verwendet. Der Instanztyp des Head-Knotens ist eingegeben:

Head node instance type [t2.micro]:

Wählen Sie die Warteschlangenkonfiguration. Der AWS Batch Scheduler enthält nur eine einzige Warteschlange. Die maximale Größe des Clusters von Rechenknoten wird eingegeben. Dies wird in vCPUs gemessen.

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

Entscheiden Sie, ob Sie bestehende VPCs verwenden oder VPCs für AWS ParallelCluster Sie erstellen lassen möchten. Wenn Sie nicht über eine ordnungsgemäß konfigurierte VPC verfügen, kann AWS ParallelCluster eine neue erstellen. Es verwendet entweder sowohl den Head- als auch den Compute-Knoten im selben öffentlichen Subnetz oder nur den Head-Knoten in einem öffentlichen Subnetz mit allen Knoten in einem privaten Subnetz. Es ist möglich, Ihr Kontingent für die Anzahl der in einer Region zulässigen VPCs zu erreichen. Die Standard-VPC-Anzahl ist fünf. Weitere Informationen zu diesem Kontingent und dazu, wie Sie eine Erhöhung beantragen können, finden Sie unter VPC und Subnetze im Amazon VPC-Benutzerhandbuch.

Wichtig

VPCs, die von erstellt wurden, aktivieren standardmäßig AWS ParallelCluster keine VPC Flow Logs. Mit VPC Flow Logs können Sie Informationen über den IP-Verkehr erfassen, der zu und von Netzwerkschnittstellen in Ihren VPCs fließt. Weitere Informationen finden Sie unter VPC-Flow-Protokolle im Amazon-VPC-Benutzerhandbuch.

Wenn Sie eine VPC AWS ParallelCluster erstellen lassen, stellen Sie sicher, dass Sie entscheiden, ob sich alle Knoten in einem öffentlichen Subnetz befinden sollen.

Anmerkung

Wenn Sie möchten1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster wird ein NAT-Gateway erstellt, das zusätzliche Kosten verursacht, auch wenn Sie Ressourcen im kostenlosen Kontingent angeben.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Wenn Sie keine neue VPC erstellen, müssen Sie eine vorhandene VPC auswählen.

Wenn Sie sich dafür entscheiden, die VPC AWS ParallelCluster erstellen zu lassen, notieren Sie sich die VPC-ID, damit Sie das AWS CLI oder verwenden können, um sie AWS Management Console später zu löschen.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Stellen Sie nach der Auswahl der VPC sicher, dass Sie entscheiden, ob Sie vorhandene Subnetze verwenden oder neue erstellen möchten.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished

Wenn Sie die vorherigen Schritte abgeschlossen haben, wird ein einfacher Cluster in einer VPC gestartet. Die VPC verwendet ein vorhandenes Subnetz, das öffentliche IP-Adressen unterstützt. Die Routing-Tabelle für das Subnetz lautet. 0.0.0.0/0 => igw-xxxxxx Beachten Sie die folgenden Bedingungen:

  • Die VPC muss DNS Resolution = yes und DNS Hostnames = yes lauten.

  • Die VPC muss auch über DHCP-Optionen mit den richtigen domain-name für verfügen. AWS-Region Der standardmäßige DHCP-Optionssatz gibt bereits das erforderliche AmazonProvidedDNS-Element an. Wenn Sie mehr als einen Domain-Namenserver angeben, finden Sie weitere Informationen unter DHCP-Optionssätze im Amazon VPC-Benutzerhandbuch. Wenn Sie private Subnetze verwenden, verwenden Sie ein NAT-Gateway oder einen internen Proxy, um den Webzugriff für Rechenknoten zu aktivieren. Weitere Informationen finden Sie unter Netzwerkkonfigurationen.

Wenn alle diese Einstellungen gültige Werte enthalten, können Sie den Cluster starten, indem Sie den Befehl „create“ ausführen.

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

Verfolgen Sie den Fortschritt des Clusters: 

$ pcluster describe-cluster --cluster-name test-cluster

or 

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

Nachdem der Cluster den "clusterStatus": "CREATE_COMPLETE" Status erreicht hat, können Sie mithilfe Ihrer normalen SSH-Client-Einstellungen eine Verbindung zu ihm herstellen. Weitere Informationen zur Verbindung mit Amazon EC2 EC2-Instances finden Sie im EC2-Benutzerhandbuch im Amazon EC2 EC2-Benutzerhandbuch. Oder Sie können den Cluster verbinden über 

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

Führen Sie den folgenden Befehl aus, um den Cluster zu löschen.

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

Nachdem der Cluster gelöscht wurde, können Sie die Netzwerkressourcen in der VPC löschen, indem Sie den CloudFormation Netzwerkstapel löschen. Der Name des Stacks beginnt mit „parallelclusternetworking-“ und enthält die Erstellungszeit im Format „YYYYMMDDHHMMSS“. Sie können die Stacks mit dem Befehl auflisten. list-stacks

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

Der Stapel kann mit dem delete-stackBefehl gelöscht werden.

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

Die VPC, die für Sie pcluster configure erstellt, wird nicht im CloudFormation Netzwerk-Stack erstellt. Sie können diese VPC manuell in der Konsole oder mithilfe von löschen. AWS CLI

$ aws --region us-east-1 ec2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad