在训练脚本中使用 SMDDP 库 PyTorch

从 SageMaker AI 分布式数据并行度 (SMDDP) 库 v1.4.0 开始，您可以将该库用作分布式包的后端选项。PyTorch 要使用 SMDDP AllReduce 和AllGather集合操作，您只需要在训练脚本的开头导入 SMDDP 库，并在进程组初始化期间将 SMDDP 设置为 PyTorch 分布式模块的后端即可。使用单行后端规范，您可以保持所有原生 PyTorch 分布式模块和整个训练脚本不变。以下代码片段展示了如何使用 SMDDP 库作为 PyTorch基于分布式训练包的后端：分布式PyTorch 数据并行 (DDP)、PyTorch 完全分片数据并行性 (FSDP) 和威震天-。DeepSpeedDeepSpeed

适用于 PyTorch DDP 或 FSDP

进程组初始化如下。

import torch.distributed as dist
import smdistributed.dataparallel.torch.torch_smddp

dist.init_process_group(backend="smddp")

注意

（仅适用于 PyTorch DDP 作业）smddp后端目前不支持使用 API 创建子流程组。torch.distributed.new_group()您也不能同时使用 smddp 后端和其他进程组后端，如 NCCL 和 Gloo。

对于我们的 DeepSpeed 威震天-DeepSpeed

进程组初始化如下。

import deepspeed
import smdistributed.dataparallel.torch.torch_smddp

deepspeed.init_distributed(dist_backend="smddp")

注意

要将 SMDDP AllGather 与 使用 Python SageMaker SDK 使用 SMDDP 启动分布式训练作业 中基于 mpirun 的启动器（smdistributed 和 pytorchddp）配合使用，还需要在训练脚本中设置以下环境变量。

export SMDATAPARALLEL_OPTIMIZE_SDP=true

有关编写 PyTorch FSDP 训练脚本的一般指导，请参阅文档中的使用完全分片数据并行 (FSDP) 进行高级模型训练。 PyTorch

有关编写 PyTorch DDP 训练脚本的一般指导，请参阅 PyTorch 文档中的分布式并行数据入门。

调整完训练脚本后，继续到 使用 Python SageMaker SDK 使用 SMDDP 启动分布式训练作业。