Amazon SageMaker モデル並列処理ライブラリ v2 の例

このページでは、 SageMaker 分散型トレーニングジョブを実行するモデル並列処理 (SMP) ライブラリ v2 を実装する実際的な例を紹介するブログと Jupyter ノートブックのリストを提供しています。 SageMaker

ブログと導入事例

以下のブログでは、SMP v2 の使用に関するケーススタディについて説明しています。

• Amazon SageMaker モデルparallel ライブラリが PyTorch FSDP ワークロードを最大 20% 高速化できるようになりました

PyTorch ノートブックの例

SageMaker GitHub サンプルノートブックはサンプルリポジトリにあります。サンプルをダウンロードするには、以下のコマンドを実行してリポジトリを複製し、に進んでくださいtraining/distributed_training/pytorch/model_parallel_v2。

注記

次の SageMaker ML IDE でサンプルノートブックを複製して実行します。

• SageMaker JupyterLab(2023 年 12 月以降に作成された Studio で利用可能)

• SageMaker コードエディター (2023 年 12 月以降に作成された Studio で利用可能)

• スタジオクラシック (2023 年 12 月以降に作成された Studio ではアプリケーションとして利用可能)

• SageMaker ノートブックインスタンス

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel_v2

SMP v2 サンプルノートブック

• P5 インスタンスで FP8 トレーニングを実行することで、SMP v2、 PyTorch FSDP、トランスフォーマーエンジンによる Llama v2 のトレーニングを加速します。

• テンソル並列処理、ハイブリッドシャーディング、アクティベーションオフロードを使用して、SMP v2 と FSDP で Llama v2 を大規模に微調整できます。 PyTorch

• SMP v2 PyTorch と FSDP を使用して GPT-Neox を大規模にトレーニングできます。

• テンソル並列処理、ハイブリッドシャーディング、アクティベーションオフロードを使用して、SMP v2 と FSDP で GPT-Neox を大規模に微調整します。 PyTorch