Amazon SageMaker モデル並列処理ライブラリ v1 の例

このページでは、 SageMaker 分散型トレーニングジョブを実行するモデル並列処理 (SMP) ライブラリ v1 を実装する実際的な例を紹介するブログと Jupyter ノートブックのリストを提供しています。 SageMaker

ブログと導入事例

以下のブログでは、SMP v1 の使用に関するケーススタディについて説明しています。

• Amazon SageMaker モデル並列処理ライブラリの新しいパフォーマンスの向上、AWS Machine Learning ブログ (2022 年 12 月 16 日)

• Amazon AWS のMachine Learning ブログ、シャーディングデータ並列処理を使用してほぼ線形のスケーリングによる巨大モデルのトレーニング (2022 年 10 月 SageMaker 31 日)

サンプルノートブックの例

サンプルノートブックはサンプルリポジトリにあります。SageMaker GitHub サンプルをダウンロードするには、以下のコマンドを実行してリポジトリを複製し、に進んでくださいtraining/distributed_training/pytorch/model_parallel。

注記

次の SageMaker ML IDE でサンプルノートブックを複製して実行します。

• SageMaker JupyterLab(2023 年 12 月以降に作成された Studio で利用可能)

• SageMaker コードエディター (2023 年 12 月以降に作成された Studio で利用可能)

• スタジオクラシック (2023 年 12 月以降に作成された Studio ではアプリケーションとして利用可能)

• SageMaker ノートブックインスタンス

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel

SMP v1 用ノートブックの例 PyTorch

• モデル並列処理ライブラリのシャードデータ並列処理手法を使用して、ほぼ線形のスケーリングで GPT-2 を学習させます。 SageMaker

• モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで GPT-2 を微調整します。 SageMaker

• モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで GPT-Neox-20b を学習させます。 SageMaker

• モデル並列処理ライブラリのシャーディングデータ並列処理とテンソル並列処理の手法を使用して GPT-J 6B に学習させます。 SageMaker

• モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで FLAN-T5 に学習させます。 SageMaker

• モデル並列処理ライブラリのシャーディングデータ並列処理手法を使用して、ほぼ線形のスケーリングで Falcon を学習させます。 SageMaker

SMP v1 向けのサンプルノートブック TensorFlow

• TensorFlow 2.3.1 搭載の CNN とモデル並列処理ライブラリ SageMaker

• HuggingFace TensorFlow 分散型モデル並列処理ライブラリを使ったトレーニング SageMaker