Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Größe und Aktualisierung der Clusterkapazität
Die Kapazität des Clusters wird durch die Anzahl der Rechenknoten definiert, die der Cluster skalieren kann. Rechenknoten werden von Amazon EC2 EC2-Instances unterstützt, die in der AWS ParallelCluster Konfiguration innerhalb von Rechenressourcen definiert sind(Scheduling/SlurmQueues/ComputeResources)
, und sind in Warteschlangen organisiert, (Scheduling/SlurmQueues)
die Partitionen 1:1 zugeordnet Slurm sind.
Innerhalb einer Rechenressource ist es möglich, die Mindestanzahl von Rechenknoten (Instances), die immer im Cluster laufen müssen (MinCount
), und die maximale Anzahl von Instances, auf die die Rechenressource skaliert werden kann, zu konfigurieren (MaxCount
3).
AWS ParallelCluster Startet bei der Clustererstellung oder bei einem Cluster-Update so viele Amazon EC2 EC2-Instances, wie MinCount
für jede im Cluster definierte Rechenressource (Scheduling/SlurmQueues/ ComputeResources
) konfiguriert sind. Die Instances, die gestartet werden, um die minimale Anzahl von Knoten für Rechenressourcen im Cluster abzudecken, werden als statische Knoten bezeichnet. Einmal gestartet, sollen statische Knoten im Cluster persistent sein und werden nicht vom System beendet, es sei denn, ein bestimmtes Ereignis oder eine bestimmte Bedingung tritt ein. Zu diesen Ereignissen gehören beispielsweise der Ausfall von Slurm Amazon EC2 EC2-Zustandsprüfungen und die Änderung des Slurm Knotenstatus auf DRAIN oder DOWN.
Die Amazon EC2 EC2-Instances im Bereich von 1
bis ‘MaxCount -
MinCount’
(MaxCount
minus) MinCount)
, die bei Bedarf gestartet werden, um die erhöhte Last des Clusters zu bewältigen, werden als dynamische Knoten bezeichnet. Sie sind kurzlebig. Sie werden gestartet, um ausstehende Jobs zu bearbeiten, und werden beendet, sobald sie für einen Scheduling/SlurmSettings/ScaledownIdletime
in der Cluster-Konfiguration festgelegten Zeitraum inaktiv bleiben (Standard: 10 Minuten).
Statische Knoten und dynamische Knoten entsprechen dem folgenden Benennungsschema:
-
Statische Knoten
<Queue/Name>-st-<ComputeResource/Name>-<num>
wo<num> = 1..ComputeResource/MinCount
-
Dynamische Knoten
<Queue/Name>-dy-<ComputeResource/Name>-<num>
wo<num> = 1..(ComputeResource/MaxCount - ComputeResource/MinCount)
Zum Beispiel bei der folgenden AWS ParallelCluster Konfiguration:
Scheduling: Scheduler: Slurm SlurmQueues: - Name: queue1 ComputeResources: - Name: c5xlarge Instances: - InstanceType: c5.xlarge MinCount: 100 MaxCount: 150
Die folgenden Knoten werden definiert in Slurm
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 50 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
Wenn es sich bei einer Rechenressource um statische Rechenknoten handeltMinCount == MaxCount
, sind alle zugehörigen Rechenknoten statisch und alle Instanzen werden bei der Clustererstellung/Aktualisierung gestartet und laufen weiter. Beispielsweise:
Scheduling: Scheduler: slurm SlurmQueues: - Name: queue1 ComputeResources: - Name: c5xlarge Instances: - InstanceType: c5.xlarge MinCount: 100 MaxCount: 100
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
Aktualisierung der Clusterkapazität
Die Aktualisierung der Clusterkapazität umfasst das Hinzufügen oder Entfernen von Warteschlangen, Rechenressourcen oder das Ändern MinCount/MaxCount
einer Rechenressource. Ab AWS ParallelCluster Version 3.9.0 muss zur Reduzierung der Größe einer Warteschlange die Rechenflotte gestoppt oder auf TERMINATE QueueUpdateStrategygesetzt werden, bevor ein Cluster-Update stattfinden kann. Es ist nicht erforderlich, die Rechenflotte zu beenden oder auf TERMINATE QueueUpdateStrategyzu setzen, wenn:
-
Neue Warteschlangen zu Scheduling hinzufügen/
SlurmQueues
-
Neue Rechenressourcen
Scheduling/SlurmQueues/ComputeResources
zu einer Warteschlange hinzufügen -
Erhöhung der
MaxCount
Anzahl einer Rechenressource -
Erhöhung MinCount einer Rechenressource und Erhöhung MaxCount derselben Rechenressource um mindestens die gleiche Menge
Überlegungen und Einschränkungen
In diesem Abschnitt sollen alle wichtigen Faktoren, Einschränkungen oder Einschränkungen beschrieben werden, die bei der Größenänderung der Clusterkapazität berücksichtigt werden sollten.
-
Beim Entfernen einer Warteschlange aus
Scheduling/https://docs.aws.amazon.com/parallelcluster/latest/ug/Scheduling-v3.html#Scheduling-v3-SlurmQueuesSlurmQueues
allen Rechenknoten mit Namen<Queue/Name>-*
, sowohl statische als auch dynamische, werden sie aus der Slurm Konfiguration entfernt und die entsprechenden Amazon EC2 EC2-Instances werden beendet. -
Beim Entfernen einer Rechenressource
Scheduling/SlurmQueues/https://docs.aws.amazon.com/parallelcluster/latest/ug/Scheduling-v3.html#Scheduling-v3-SlurmQueues-ComputeResourcesComputeResources
aus einer Warteschlange werden alle Rechenknoten mit Namen<Queue/Name>-*-<ComputeResource/Name>-*
, sowohl statisch als auch dynamisch, aus der Slurm Konfiguration entfernt und die entsprechenden Amazon EC2 EC2-Instances werden beendet.
Wenn wir den MinCount
Parameter einer Rechenressource ändern, können wir zwei verschiedene Szenarien unterscheiden: ob gleich gehalten MaxCount
wird MinCount
(nur statische Kapazität) und ob größer als MinCount
(gemischte statische und dynamische Kapazität) MaxCount
ist.
Die Kapazität ändert sich nur bei statischen Knoten
-
Wenn
MinCount == MaxCount
beim ErhöhenMinCount
(undMaxCount
) der Cluster konfiguriert wird, indem die Anzahl der statischen Knoten auf den neuen Wert von erhöht wirdMinCount
<Queue/Name>-st-<ComputeResource/Name>-<new_MinCount>
und das System weiterhin versucht, Amazon EC2 EC2-Instances zu starten, um die neue erforderliche statische Kapazität zu erfüllen. -
Wenn
MinCount == MaxCount
beim VerringernMinCount
(undMaxCount
) der Menge N der Cluster konfiguriert wird, indem die letzten N statischen Knoten entfernt werden,<Queue/Name>-st-<ComputeResource/Name>-<old_MinCount - N>...<old_MinCount>]
und das System beendet die entsprechenden Amazon EC2 EC2-Instances.-
Ausgangszustand
MinCount = MaxCount = 100
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
-
Update
-30
amMinCount
undMaxCount: MinCount = MaxCount = 70
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 70 idle queue1-st-c5xlarge-[1-70]
-
Kapazitätsänderungen bei gemischten Knoten
Wenn der Cluster um einen Betrag N erhöht MinCount
MaxCount
wird (vorausgesetztMinCount < MaxCount
, dass er unverändert bleibt), wird der Cluster konfiguriert, indem die Anzahl der statischen Knoten auf den neuen Wert von MinCount
(old_MinCount + N
): erweitert wird, <Queue/Name>-st-<ComputeResource/Name>-<old_MinCount +
N>
und das System versucht weiterhin, Amazon EC2 EC2-Instances zu starten, um die neue erforderliche statische Kapazität zu erfüllen. Um der MaxCount
Kapazität der Rechenressource Rechnung zu tragen, wird die Cluster-Konfiguration außerdem aktualisiert, indem die letzten N dynamischen Knoten entfernt werden. Das System beendet dann die entsprechenden Amazon EC2 EC2-Instances. <Queue/Name>-dy-<ComputeResource/Name>-[<MaxCount -
old_MinCount - N>...<MaxCount - old_MinCount>]
-
Ausgangszustand:
MinCount = 100; MaxCount = 150
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 50 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
-
Aktualisieren Sie +30 auf
MinCount : MinCount = 130 (MaxCount = 150)
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 20 idle~ queue1-dy-c5xlarge-[1-20] queue1* up infinite 130 idle queue1-st-c5xlarge-[1-130]
Wenn MinCount < MaxCount
bei Erhöhung MinCount
und gleichem Wert N MaxCount
der Cluster konfiguriert wird, indem die Anzahl der statischen Knoten auf den neuen Wert von MinCount
(old_MinCount + N
): erweitert wird, <Queue/Name>-st-<ComputeResource/Name>-<old_MinCount +
N>
und das System versucht weiterhin, Amazon EC2 EC2-Instances zu starten, um die neue erforderliche statische Kapazität zu erfüllen. Darüber hinaus werden keine Änderungen an der Anzahl der dynamischen Knoten vorgenommen, um den neuen Anforderungen gerecht zu werden
MaxCount
Wert.
-
Ausgangszustand:
MinCount = 100; MaxCount = 150
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 50 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
-
Aktualisieren Sie +30 auf
MinCount : MinCount = 130 (MaxCount = 180)
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 20 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 130 idle queue1-st-c5xlarge-[1-130]
Wenn die MinCount
Anzahl N verringert MaxCount
wird (vorausgesetztMinCount < MaxCount
, dass sie unverändert bleibt), wird der Cluster konfiguriert, indem die letzten N statischen Knoten entfernt werden, <Queue/Name>-st-<ComputeResource/Name>-[<old_MinCount -
N>...<old_MinCount>
und das System beendet die entsprechenden Amazon EC2 EC2-Instances. Um der MaxCount
Kapazität der Rechenressource Rechnung zu tragen, wird außerdem die Cluster-Konfiguration aktualisiert, indem die Anzahl der dynamischen Knoten erhöht wird, um die Lücke zu schließen. MaxCount - new_MinCount:
<Queue/Name>-dy-<ComputeResource/Name>-[1..<MazCount -
new_MinCount>]
In diesem Fall, da es sich um dynamische Knoten handelt, werden keine neuen Amazon EC2 EC2-Instances gestartet, es sei denn, der Scheduler hat Jobs auf den neuen Knoten ausstehend.
-
Ausgangszustand:
MinCount = 100; MaxCount = 150
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 50 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
-
Update -30 am
MinCount : MinCount = 70 (MaxCount = 120)
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 80 idle~ queue1-dy-c5xlarge-[1-80] queue1* up infinite 70 idle queue1-st-c5xlarge-[1-70]
Wenn MinCount < MaxCount
MaxCount
der Wert abnimmt MinCount
und die gleiche Menge N beträgt, wird der Cluster konfiguriert, indem die letzten N statischen Knoten entfernt werden, <Queue/Name>-st-<ComputeResource/Name>-<old_MinCount -
N>...<oldMinCount>]
und das System beendet die entsprechenden Amazon EC2 EC2-Instances.
Darüber hinaus werden keine Änderungen an der Anzahl der dynamischen Knoten vorgenommen, um dem neuen MaxCount
Wert Rechnung zu tragen.
-
Ausgangszustand:
MinCount = 100; MaxCount = 150
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 50 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
-
Update -30 am
MinCount : MinCount = 70 (MaxCount = 120)
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 80 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 70 idle queue1-st-c5xlarge-[1-70]
Wenn die MaxCount
Anzahl N verringert wird (vorausgesetztMinCount < MaxCount
, dass sie unverändert bleibt), MinCount
wird der Cluster konfiguriert, indem die letzten N dynamischen Knoten entfernt werden, <Queue/Name>-dy-<ComputeResource/Name>-<old_MaxCount -
N...<oldMaxCount>]
und das System beendet die entsprechenden Amazon EC2 EC2-Instances, falls sie ausgeführt wurden. Es werden keine Auswirkungen auf die statischen Knoten erwartet.
-
Ausgangszustand:
MinCount = 100; MaxCount = 150
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 50 idle~ queue1-dy-c5xlarge-[1-50] queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
-
Update -30 am
MaxCount : MinCount = 100 (MaxCount = 120)
-
$ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST queue1* up infinite 20 idle~ queue1-dy-c5xlarge-[1-20] queue1* up infinite 100 idle queue1-st-c5xlarge-[1-100]
Auswirkungen auf die Arbeitsplätze
In allen Fällen, in denen Knoten entfernt und Amazon EC2 EC2-Instances beendet werden, wird ein Sbatch-Job, der auf den entfernten Knoten ausgeführt wird, erneut in die Warteschlange gestellt, es sei denn, es gibt keine anderen Knoten, die die Auftragsanforderungen erfüllen. In letzterem Fall schlägt der Job mit dem Status NODE_FAIL fehl und verschwindet aus der Warteschlange. In diesem Fall muss er manuell erneut eingereicht werden.
Wenn Sie planen, ein Update zur Änderung der Clustergröße durchzuführen, können Sie verhindern, dass Jobs auf den Knoten ausgeführt werden, die während des geplanten Updates entfernt werden. Dies ist möglich, indem Sie festlegen, dass die Knoten im Rahmen der Wartung entfernt werden. Bitte beachten Sie, dass die Einstellung eines Knotens zur Wartung keine Auswirkungen auf Jobs hat, die eventuell bereits auf dem Knoten ausgeführt werden.
Nehmen wir an, dass Sie mit dem geplanten Update zur Änderung der Clustergröße den Knoten entfernen werdenqeueu-st-computeresource-[9-10
]. Sie können eine Slurm Reservierung mit dem folgenden Befehl erstellen
sudo -i scontrol create reservation ReservationName=maint_for_update user=root starttime=now duration=infinite flags=maint,ignore_jobs nodes=qeueu-st-computeresource-[9-10]
Dadurch wird eine Slurm Reservierung erstellt, die maint_for_update
auf den Knoten benannt istqeueu-st-computeresource-[9-10]
. Ab dem Zeitpunkt, an dem die Reservierung erstellt wurde, können keine Jobs mehr auf den Knoten ausgeführt werdenqeueu-st-computeresource-[9-10]
. Bitte beachten Sie, dass die Reservierung nicht verhindert, dass Jobs irgendwann auf den Knoten zugewiesen werdenqeueu-st-computeresource-[9-10]
.
Wenn die Slurm Reservierung nach der Aktualisierung der Clustergröße nur für Knoten festgelegt wurde, die während der Aktualisierung der Clustergröße entfernt wurden, wird die Wartungsreservierung automatisch gelöscht. Wenn Sie stattdessen eine Slurm Reservierung für Knoten erstellt haben, die nach der Aktualisierung der Clustergröße noch vorhanden sind, möchten wir möglicherweise die Wartungsreservierung auf den Knoten nach der Aktualisierung der Größe entfernen. Verwenden Sie dazu den folgenden Befehl
sudo -i scontrol delete ReservationName=maint_for_update
Weitere Informationen zur Slurm Reservierung finden Sie im offiziellen SchedMD-Dokument hier.
Cluster-Aktualisierung bei Kapazitätsänderungen
Bei einer Änderung der Scheduler-Konfiguration werden während des Cluster-Aktualisierungsvorgangs die folgenden Schritte ausgeführt:
-
Stoppen AWS ParallelCluster
clustermgtd (supervisorctl stop clustermgtd)
-
Generieren Sie die aktualisierte Slurm Partitionskonfiguration anhand der AWS ParallelCluster Konfiguration
-
Neustart
slurmctld
(erfolgt über das Chef-Dienstrezept) -
slurmctld
Status überprüfen(systemctl is-active --quiet slurmctld.service)
-
Konfiguration neu laden Slurm
(scontrol reconfigure)
-
clustermgtd (supervisorctl start clustermgtd)
starten