亚马逊 SageMaker AI 模型并行库 v2 示例

本页提供了博客和 Jupyter 笔记本的列表，这些博客和 Jupyter 笔记本提供了实现 SageMaker 模型并行度 (SMP) 库 v2 以在 AI 上运行分布式训练作业的实际示例。 SageMaker

博客和案例研究

以下博客讨论了有关使用 SMP v2 的案例研究。

• Amazon SageMaker AI 模型并行库现在可将 PyTorch FSDP工作负载加速多达 20%

PyTorch 示例笔记本

SageMaker AI 示例 GitHub 存储库中提供了示例笔记本。要下载示例，请运行以下命令克隆库并转到 training/distributed_training/pytorch/model_parallel_v2。

注意

克隆并运行以下 SageMaker AI ML 中的示例笔记本IDEs。

• SageMaker JupyterLab（在 2023 年 12 月之后创建的工作室中可用）

• SageMaker 代码编辑器（在 2023 年 12 月之后创建的 Studio 中可用）

• Studio Classic（可作为 2023 年 12 月之后创建的 Studio 中的应用程序使用）

• SageMaker 笔记本实例

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel_v2

SMPv2 示例笔记本

• 通过 v2 和 Transformer Engine 在 P5 实例上运行FP8训练来加快 Llama SMP v2 的训练 PyTorch FSDP

• 使用张量并行度、混合分片和 PyTorch FSDP激活卸载对 Llama SMP v2 进行大规模微调

• 使用 SMP v2 进行大规模训练 GPT-neoX PyTorch FSDP

• 使用 SMP v2 和使用张量并行度、混合 PyTorch FSDP分片和激活卸载进行大规模微调 GPT Neox