在计算节点初始化过程中看到错误 - AWS ParallelCluster

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在计算节点初始化过程中看到错误

clustermgtd.log 中看到“Node bootstrap error

该问题与计算节点无法引导有关。有关如何调试集群受保护模式问题的信息,请参阅如何调试受保护模式

我配置了按需容量预留 (ODCR) 或区域预留实例

包含具有多个网络接口的实例(例如 P4d、P4de 和 AWS Trainium (Trn))的 ODCR

在集群配置文件中,检查 HeadNode 是否位于公有子网中,以及计算节点是否位于私有子网中。

ODCR 是定向 ODCR

尽管我已经按照使用 ODCR(按需容量预留)启动实例中的说明准备好了 /opt/slurm/etc/pcluster/run_instances_overrides.json,但仍看到“Unable to read file '/opt/slurm/etc/pcluster/run_instances_overrides.json'.

如果您将 AWS ParallelCluster 版本 3.1.1 至 3.2.1 与定向 ODCR 一起使用,并且还使用运行实例覆盖 JSON 文件,则可能您的 JSON 文件格式不正确。您可能会在 clustermgtd.log 中看到错误,例如下面的错误:

Unable to read file '/opt/slurm/etc/pcluster/run_instances_overrides.json'. Using default: {} in /var/log/parallelcluster/clustermgtd.

通过运行以下命令验证 JSON 文件格式是否正确:

$ echo /opt/slurm/etc/pcluster/run_instances_overrides.json | jq

集群创建失败时在 clustermgtd.log 中看到“Found RunInstances parameters override.”,或运行作业失败时在 slurm_resume.log 中看到该错误

如果您使用的是运行实例覆盖 JSON 文件,请检查是否在 /opt/slurm/etc/pcluster/run_instances_overrides.json 文件中正确设置了队列名称和计算资源名称。

运行作业失败时在 slurm_resume.log 中看到“An error occurred (InsufficientInstanceCapacity)”,或创建集群失败时在 clustermgtd.log 中看到该错误

使用 PG-ODCR(置放群组 ODCR)

创建具有关联置放群组的 ODCR 时,必须在配置文件中使用相同的置放群组名称。在集群配置中设置相应的置放群组名称

使用区域预留实例

如果您使用区域预留实例并在集群配置中将 PlacementGroup/Enabled 设置为 true,则可能会看到错误,例如下面的错误:

We currently do not have sufficient trn1.32xlarge capacity in the Availability Zone you requested (us-east-1d). Our system will be working on provisioning additional capacity. You can currently get trn1.32xlarge capacity by not specifying an Availability Zone in your request or choosing us-east-1a, us-east-1b, us-east-1c, us-east-1e, us-east-1f.

看到此错误可能是因为区域预留实例未放置在同一 UC(或脊柱)中,在使用置放群组时,这可能会导致容量不足错误 (ICE)。您可以通过在集群配置中禁用 PlacementGroup 群组设置来检查这种情况,以确定集群是否可以分配实例。

运行作业失败时在 slurm_resume.log 中看到“An error occurred (VcpuLimitExceeded)”,或创建集群失败时在 clustermgtd.log 中看到该错误

检查您账户上针对所使用的 EC2 实例类型的 vCPU 限制。如果您看到的 vCPU 数量为零或少于您请求的数量,则请求提高限制。有关如何查看当前限制和请求新限制的信息,请参阅 Amazon EC2 用户指南(适用于 Linux 实例)中的 Amazon EC2 服务限额

运行作业失败时在 slurm_resume.log 中看到“An error occurred (InsufficientInstanceCapacity)”,或创建集群失败时在 clustermgtd.log 中看到该错误

您遇到了容量不足问题。关注 https://aws.amazon.com/premiumsupport/knowledge-center/ec2-insufficient-capacity-errors/来解决问题。

看到节点处于 DOWN 状态并显示Reason (Code:InsufficientInstanceCapacity)...

您遇到了容量不足问题。关注 https://aws.amazon.com/premiumsupport/knowledge-center/ec2-insufficient-capacity-errors/来解决问题。有关 AWS ParallelCluster 快速容量不足故障转移模式的更多信息,请参阅 Slurm 集群快速容量不足故障转移

slurm_resume.log 中看到“cannot change locale (en_US.utf-8) because it has an invalid name

如果 yum 安装过程失败,导致区域设置处于不一致状态,则可能会发生这种情况。例如,当用户终止安装过程时可能会导致这种情况。

要验证原因,请执行下列操作:
  • 运行 su - pcluster-admin

    Shell 显示错误,例如“cannot change locale...no such file or directory”。

  • 运行 localedef --list

    返回空列表或不包含默认区域设置。

  • 使用 yum historyyum history info #ID 检查最后的 yum 命令。最后 ID 是否包含Return-Code: Success

    如果最后 ID 不包含Return-Code: Success,则表明安装后脚本可能未成功运行。

要解决此问题,请尝试使用 yum reinstall glibc-all-langpacks 重建区域设置。重建后,如果解决了该问题,则 su - pcluster-admin 不会显示错误或警告。

以上情形都不适用于我的情况

要排查计算节点初始化问题,请参阅排查节点初始化问题

查看您的场景是否包含在 “GitHub 已知问题AWS ParallelCluster” 中 GitHub。

有关其他支持,请参阅其他支持