Exemples de bibliothèque SageMaker de parallélisme de modèles Amazon v1

Cette page fournit une liste de blogs et de blocs-notes Jupyter présentant des exemples pratiques de mise en œuvre de la bibliothèque de parallélisme de SageMaker modèles (SMP) v1 pour exécuter des tâches de formation distribuées. SageMaker

Blogs et études de cas

Les blogs suivants présentent des études de cas sur l'utilisation de SMP v1.

• Nouvelles améliorations des performances de la bibliothèque de parallélisme des SageMaker modèles Amazon, AWS Machine Learning Blog (16 décembre 2022)

• Entraînez des modèles gigantesques avec une mise à l'échelle quasi linéaire à l'aide du parallélisme de données fragmenté sur Amazon, SageMaker Machine AWS Learning Blog (31 octobre 2022)

Exemples de blocs-notes

Des carnets d'exemples sont fournis dans le GitHub référentiel SageMaker d'exemples. Pour télécharger les exemples, exécutez la commande suivante pour cloner le référentiel et accédez àtraining/distributed_training/pytorch/model_parallel.

Note

Clonez et exécutez les exemples de blocs-notes dans les IDE SageMaker ML suivants.

• SageMaker JupyterLab(disponible dans Studio créé après décembre 2023)

• SageMaker Éditeur de code (disponible dans Studio créé après décembre 2023)

• Studio Classic (disponible sous forme d'application dans Studio créée après décembre 2023)

• SageMaker Instances d'ordinateurs portables

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel

Exemples de blocs-notes SMP v1 pour PyTorch

• Entraînez le GPT-2 avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données fragmentée de la bibliothèque de parallélisme du modèle SageMaker

• Ajustez le GPT-2 avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme des données fragmentée dans la bibliothèque de parallélisme des modèles SageMaker

• Entraînez le GPT-NeoX-20b avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données fragmentée de la bibliothèque de parallélisme de modèles SageMaker

• Entraînez le GPT-J 6B en utilisant les techniques de parallélisme des données fragmentées et de parallélisme des tenseurs de la bibliothèque de parallélisme des modèles SageMaker

• Entraînez le FLAN-T5 avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données fragmenté dans la bibliothèque de parallélisme du modèle SageMaker

• Entraînez Falçon avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données fragmenté dans la bibliothèque de parallélisme des modèles SageMaker

Exemples de blocs-notes SMP v1 pour TensorFlow

• CNN avec TensorFlow 2.3.1 et la bibliothèque de parallélisme des SageMaker modèles

• HuggingFace avec bibliothèque de parallélisme de modèles TensorFlow distribués. Formation sur SageMaker