Amazon SageMaker AI 資料平行處理程式庫範例

此頁面提供 Jupyter 筆記本，其中提供實作 SageMaker AI 分散式資料平行處理 (SMDDP) 程式庫以在 SageMaker AI 上執行分散式訓練任務的範例。

部落格與案例研究

下列部落格討論有關使用 SMDDP 程式庫的案例研究。

SMDDP v2 部落格

• 使用 Amazon SageMaker AI 資料平行程式庫、機器學習部落格 (2023 年 12 月 5 日） 實現更快速的訓練 AWS Machine Learning

SMDDP v1 部落格

• 如何訓練 10TB 以在 SageMaker AI in Medium 上穩定擴散 (2022 年 11 月 29 日）

• 與 Amazon Search 在 Amazon SageMaker 訓練中執行 PyTorch Learning 和原生 PyTorch DDP，AWS 機器學習部落格 (2022 年 8 月 18 日)

• AWS 使用 PyTorch 和 SageMaker AI 分散式資料平行程式庫在 上訓練 YOLOv5，中 (2022 年 5 月 6 日）

• 使用 PyTorch 和 SageMaker AI 分散式資料平行程式庫加速 SageMaker AI 上的 EfficientNet 模型訓練，中 (2022 年 3 月 21 日）

• AWS 使用 SageMaker AI 分散式資料平行程式庫 EfficientNet 在 上加速訓練，面向資料科學 (2022 年 1 月 12 日）

• 現代汽車使用 Amazon SageMaker AI、機器學習部落格 (2021 年 6 月 25 日） 來縮短自動駕駛模型的 ML 模型訓練時間 AWS Machine Learning

• 分散式訓練：使用 Transformer 和 Hugging Face 網站 Amazon SageMaker AI 訓練 BART/T5 進行摘要化 (2021 年 4 月 8 日）

範例筆記本

SageMaker AI 範例 GitHub 儲存庫中提供範例筆記本。若要下載範例，請執行下列命令來複製儲存庫，然後前往 training/distributed_training/pytorch/data_parallel。

注意

在下列 SageMaker AI ML IDEs 中複製並執行範例筆記本。

• SageMaker AI JupyterLab （可在 2023 年 12 月之後建立的 Studio 中使用）

• SageMaker AI 程式碼編輯器 （可在 2023 年 12 月之後建立的 Studio 中使用）

• Studio Classic （可在 2023 年 12 月之後建立的 Studio 中作為應用程式使用）

• SageMaker 筆記本執行個體

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

SMDDP v2 範例

• 使用 SageMaker AI 分散式資料平行程式庫 (SMDDP) 和 DeepSpeed 訓練 Llama 2

• 使用 SageMaker AI 分散式資料平行程式庫 (SMDDP) 和 PyTorch 全陰影資料平行處理 (FSDP) 來訓練 Falcon

SMDDP v1 範例

• CNN 搭配 PyTorch 和 SageMaker AI 資料平行處理程式庫

• BERT 搭配 PyTorch 和 SageMaker AI 資料平行處理程式庫

• CNN 搭配 TensorFlow 2.3.1 和 SageMaker AI 資料平行處理程式庫

• BERT 搭配 TensorFlow 2.3.1 和 SageMaker AI 資料平行處理程式庫

• 在 PyTorch on SageMaker AI 中的 HuggingFace 分散式資料平行訓練 - 分散式問題回答

• 在 PyTorch on SageMaker AI 中的 HuggingFace 分散式資料平行訓練 - 分散式文字摘要

• 在 TensorFlow on SageMaker AI 中進行 HuggingFace 分散式資料平行訓練