Fehler bei der Initialisierung von Compute-Knoten werden angezeigt

Ich sehe rein Node bootstrap errorclustermgtd.log

Das Problem hängt damit zusammen, dass Rechenknoten nicht booten können. Informationen zum Debuggen eines Problems im geschützten Clustermodus finden Sie unter. So debuggen Sie den geschützten Modus

Ich habe On-Demand-Kapazitätsreservierungen (ODCRs) oder zonale Reserved Instances konfiguriert

ODCRs, die Instances mit mehreren Netzwerkschnittstellen wie P4d, P4de und Trainium (Trn) enthalten AWS

Überprüfen Sie in der Cluster-Konfigurationsdatei, ob sich der in einem öffentlichen Subnetz HeadNode befindet und ob sich die Rechenknoten in einem privaten Subnetz befinden.

ODCRs sind gezielte ODCRs

Ich sehe, Unable to read file '/opt/slurm/etc/pcluster/run_instances_overrides.json'. obwohl ich es bereits eingerichtet habe, indem ich die Anweisungen /opt/slurm/etc/pcluster/run_instances_overrides.json in befolge Erstellen Sie Instances mit ODCR Starten Sie Instances

Wenn Sie die AWS ParallelCluster Versionen 3.1.1 bis 3.2.1 mit gezielten ODCRs verwenden und auch die JSON-Datei run instances override verwenden, ist die JSON-Datei möglicherweise nicht richtig formatiert. Sie könnten einen Fehler wie den folgenden sehenclustermgtd.log:

Unable to read file '/opt/slurm/etc/pcluster/run_instances_overrides.json'. 
Using default: {} in  /var/log/parallelcluster/clustermgtd.

Stellen Sie sicher, dass das JSON-Dateiformat korrekt ist, indem Sie Folgendes ausführen:

$ echo /opt/slurm/etc/pcluster/run_instances_overrides.json | jq

Zeigt Found RunInstances parameters override. anclustermgtd.log, wann die Clustererstellung fehlgeschlagen ist oder slurm_resume.log wann die Ausführung des Jobs fehlgeschlagen ist

Wenn Sie Run-Instances verwenden, die die JSON-Datei überschreiben, überprüfen Sie, ob Sie den Warteschlangennamen und den Namen der Rechenressourcen in der /opt/slurm/etc/pcluster/run_instances_overrides.json Datei korrekt angegeben haben.

Ich sehe An error occurred (InsufficientInstanceCapacity)slurm_resume.log, wenn ich einen Job nicht ausführen kann oder clustermgtd.log wann ich keinen Cluster erstellen kann

Verwenden von PG-ODCR (Placement Group ODCR)

Wenn Sie ein ODCR mit einer zugehörigen Platzierungsgruppe erstellen, muss derselbe Platzierungsgruppenname in der Konfigurationsdatei verwendet werden. Geben Sie den Namen der entsprechenden Platzierungsgruppe in der Cluster-Konfiguration ein.

Verwendung zonaler Reserved Instances

Wenn Sie zonale Reserved Instances mitPlacementGroup/Enabledbis true in der Cluster-Konfiguration verwenden, wird möglicherweise ein Fehler wie der folgende angezeigt:

We currently do not have sufficient trn1.32xlarge capacity in the Availability Zone you requested (us-east-1d). Our system will be working on provisioning additional capacity. 
You can currently get trn1.32xlarge capacity by not specifying an Availability Zone in your request or choosing us-east-1a, us-east-1b, us-east-1c, us-east-1e, us-east-1f.

Dieser Fehler tritt möglicherweise auf, weil sich die zonalen Reserved Instances nicht in derselben UC (oder Spine) befinden, was bei der Verwendung von Platzierungsgruppen zu Fehlern bei unzureichender Kapazität (ICEs) führen kann. Sie können diesen Fall überprüfen, indem Sie die PlacementGroup Gruppeneinstellung in der Clusterkonfiguration deaktivieren, um festzustellen, ob der Cluster die Instances zuweisen kann.

Ich sehe An error occurred (VcpuLimitExceeded)slurm_resume.log, wenn ich einen Job nicht ausführen kann, oder wenn ich keinen Cluster erstellen kann clustermgtd.log

Überprüfen Sie die vCPU-Limits in Ihrem Konto für den spezifischen EC2-Instance-Typ, den Sie verwenden. Wenn Sie keine oder weniger vCPUs sehen, als Sie anfordern, fordern Sie eine Erhöhung Ihrer Limits an. Informationen darüber, wie Sie aktuelle Limits einsehen und neue Limits anfordern können, finden Sie unter Amazon EC2-Servicekontingente im Amazon EC2-Benutzerhandbuch.

Ich sehe An error occurred (InsufficientInstanceCapacity)slurm_resume.log, wann ich einen Job nicht ausführen kann, oder inclustermgtd.log, wann ich keinen Cluster erstellen kann

Sie haben ein Problem mit unzureichender Kapazität. Folgen Sie https://aws.amazon.com/premiumsupport/knowledge-center/ec2-insufficient-capacity-errors/, um das Problem zu beheben.

Ich sehe, dass sich die Knoten im DOWN Zustand von befinden Reason (Code:InsufficientInstanceCapacity)...

Sie haben ein Problem mit unzureichender Kapazität. Folgen Sie https://aws.amazon.com/premiumsupport/knowledge-center/ec2-insufficient-capacity-errors/, um das Problem zu beheben. Weitere Informationen AWS ParallelCluster zum schnellen Failover-Modus für unzureichende Kapazität finden Sie unter. Slurmschneller Cluster-Failover mit unzureichender Kapazität

Seht rein cannot change locale (en_US.utf-8) because it has an invalid nameslurm_resume.log

Dies kann passieren, wenn der yum Installationsvorgang nicht erfolgreich war und die Gebietsschemaeinstellungen inkonsistent geblieben sind. Dies kann beispielsweise auftreten, wenn ein Benutzer den Installationsvorgang beendet.

Gehen Sie wie folgt vor, um die Ursache zu überprüfen:

• Führen Sie su - pcluster-admin.

  Die Shell zeigt einen Fehler an, cannot change locale...no such file or directory z. B.

• Führen Sie localedef --list.

  Gibt eine leere Liste zurück oder enthält nicht das Standardgebietsschema.

• Überprüfen Sie den letzten yum Befehl mit yum history undyum history info #ID. Hat die letzte IDReturn-Code: Success?

  Wenn die letzte ID nicht vorhanden istReturn-Code: Success, wurden die Skripts nach der Installation möglicherweise nicht erfolgreich ausgeführt.

Um das Problem zu beheben, versuchen Sie, das Gebietsschema mit neu zu erstellen. yum reinstall glibc-all-langpacks Nach der Neuerstellung su - pcluster-admin wird kein Fehler oder keine Warnung angezeigt, wenn das Problem behoben ist.

Keines der vorherigen Szenarien trifft auf meine Situation zu

Informationen zur Behebung von Problemen bei der Initialisierung von Compute-Knoten finden Sie unterBehebung von Problemen bei der Knoteninitialisierung.

Prüfen Sie, ob Ihr Szenario unter GitHub Bekannte Probleme unter AWS ParallelCluster on GitHub behandelt wird.

Zusätzliche Unterstützung finden Sie unterZusätzliche Unterstützung.