Exemples de bibliothèque SageMaker de parallélisme de modèles Amazon v2

Cette page fournit une liste de blogs et de blocs-notes Jupyter qui présentent des exemples pratiques d'implémentation de la bibliothèque de parallélisme de SageMaker modèles (SMP) v2 pour exécuter des tâches de formation distribuées. SageMaker

Blogs et études de cas

Les blogs suivants présentent des études de cas sur l'utilisation de SMP v2.

• Amazon SageMaker Model Parallel Library accélère désormais les charges de travail PyTorch FSDP jusqu'à 20 %

PyTorch exemples de carnets

Des carnets d'exemples sont fournis dans le GitHub référentiel SageMaker d'exemples. Pour télécharger les exemples, exécutez la commande suivante pour cloner le référentiel et accédez àtraining/distributed_training/pytorch/model_parallel_v2.

Note

Clonez et exécutez les exemples de blocs-notes dans les IDE SageMaker ML suivants.

• SageMaker JupyterLab(disponible dans Studio créé après décembre 2023)

• SageMaker Éditeur de code (disponible dans Studio créé après décembre 2023)

• Studio Classic (disponible sous forme d'application dans Studio créée après décembre 2023)

• SageMaker Instances d'ordinateurs portables

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel_v2

Exemples de blocs-notes SMP v2

• Accélérez l'entraînement de Llama v2 avec SMP v2, PyTorch FSDP et Transformer Engine en exécutant la formation FP8 sur des instances P5

• Ajustez Llama v2 avec SMP v2 et PyTorch FSDP à grande échelle en utilisant le parallélisme des tenseurs, le sharding hybride et le déchargement des activations

• Entraînez GPT-Neox avec SMP v2 et PyTorch FSDP à grande échelle

• Ajustez GPT-Neox avec SMP v2 et PyTorch FSDP à grande échelle en utilisant le parallélisme des tenseurs, le sharding hybride et le déchargement des activations