Amazon SageMaker 数据并行库示例

本页提供了 Jupyter 笔记本，这些笔记本提供了实现 SageMaker分布式数据并行度 (SMDDP) 库以运行分布式训练作业的示例。 SageMaker

博客和案例研究

以下博客讨论了有关使用 SMDDP 库的案例研究。

SMDDP v2 博客

• 使用亚马逊 SageMaker 数据并行库实现更快的训练，M AWS achine Learning 博客（2023 年 12 月 5 日）

SMDDP v1 博客

• 我是如何在中等模式下训练 10TB 以实现稳定扩散的（2022 年 11 月 29 日） SageMaker

• 在亚马逊 SageMaker 培训上运行 PyTorch Lightning 和原生 PyTorch DDP，其中包括亚马逊搜索、AWS Machine Le arnin g 博客（2022 年 8 月 18 日）

• AWS 使用 PyTorch SageMaker 分布式数据并行库训练 YOLOV5，M edium（2022 年 5 月 6 日）

• SageMaker 使用 PyTorch SageMaker 分布式数据并行库 M ed ium 加速 EfficientNet 模型训练（2022 年 3 月 21 日）

• AWS 使用 SageMaker 分布式数据并行库《迈向数据科学》加快 EfficientNet 训练速度（2022 年 1 月 12 日）

• 现代汽车使用亚马逊缩短自动驾驶模型的AWS 机器学习模型训练时间 SageMaker，Mac hine Learning Blog（2021年6月25日）

• 分布式训练：使用《变形金刚》和 SageMaker Hugging Face 网站 Amazon 训练 BART/T5 进行总结（2021 年 4 月 8 日）

示例笔记本

示例 GitHub 存储库中提供了SageMaker 示例笔记本。要下载示例，请运行以下命令来克隆存储库并转至training/distributed_training/pytorch/data_parallel。

注意

在以下 SageMaker ML IDE 中克隆并运行示例笔记本。

• SageMaker JupyterLab（在 2023 年 12 月之后创建的工作室中可用）

• SageMaker 代码编辑器（在 2023 年 12 月之后创建的 Studio 中可用）

• Studio Classic（作为应用程序在 2023 年 12 月之后创建的 Studio 中

• SageMaker 笔记本实例

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

SMDDP v2 示例

• 使用 SageMaker 分布式数据并行库 (SMDDP) 训练 Llama 2 和 DeepSpeed

• 使用 SageMaker 分布式数据并行库 (SMDDP) 和 PyTorch 完全分片数据并行度 (FSDP) 训练 Falcon

SMDDP v1 示例

• CNN w PyTorch ith 和 SageMaker 数据并行度库

• BERT w PyTorch ith 和 SageMaker 数据并行度库

• 带有 TensorFlow 2.3.1 的 CNN 和 SageMaker 数据并行度库

• 带有 TensorFlow 2.3.1 的 BERT 和 SageMaker 数据并行度库

• HuggingFace 分布式问答中的 PyTorch 分布式数据并行训练 SageMaker

• HuggingFace 分布式文本摘要中的 PyTorch 分布式数据并行训练 SageMaker

• HuggingFace 分布式数据并行训练开 TensorFlow 启 SageMaker