Exemples de bibliothèques SageMaker de parallélisme de données Amazon

Cette page fournit des blocs-notes Jupyter qui présentent des exemples d'implémentation de la bibliothèque SMDDP ( SageMakerDistributed Data Parallelism) pour exécuter des tâches de formation distribuées. SageMaker

Blogs et études de cas

Les blogs suivants présentent des études de cas sur l'utilisation de la bibliothèque SMDDP.

Blogues de SMDDP v2

• Accélérez la formation grâce à la bibliothèque Amazon SageMaker Data Parallel Library, AWS Machine Learning Blog (5 décembre 2023)

Blogues de SMDDP v1

• Comment j'ai entraîné 10 To pour une diffusion stable sur SageMaker Medium (29 novembre 2022)

• Exécutez PyTorch Lightning et le PyTorch DDP natif sur Amazon SageMaker Training, avec Amazon Search, AWS Machine Learning Blog (18 août 2022)

• Formation à YOLOv5 sur la bibliothèque AWS parallèle de SageMaker données distribuées PyTorch et la bibliothèque parallèle, Medium (6 mai 2022)

• Accélérez l'entraînement des EfficientNet modèles sur SageMaker with PyTorch et sur la bibliothèque parallèle de données SageMaker distribuées, Medium (21 mars 2022)

• Accélérez la EfficientNet formation AWS grâce à la bibliothèque parallèle de données SageMaker distribuées, Towards Data Science (12 janvier 2022)

• Hyundai réduit le temps de formation des modèles ML pour les modèles de conduite autonome grâce à Amazon SageMaker, AWS Machine Learning Blog (25 juin 2021)

• Formation distribuée : apprenez à BART/T5 à la synthèse à l'aide de Transformers et d'Amazon, le site SageMaker Web Hugging Face (8 avril 2021)

Exemples de blocs-notes

Des carnets d'exemples sont fournis dans le GitHub référentiel SageMaker d'exemples. Pour télécharger les exemples, exécutez la commande suivante pour cloner le référentiel et accédez àtraining/distributed_training/pytorch/data_parallel.

Note

Clonez et exécutez les exemples de blocs-notes dans les IDE SageMaker ML suivants.

• SageMaker JupyterLab(disponible dans Studio créé après décembre 2023)

• SageMaker Éditeur de code (disponible dans Studio créé après décembre 2023)

• Studio Classic (disponible sous forme d'application dans Studio créée après décembre 2023)

• SageMaker Instances d'ordinateurs portables

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

Exemples de SMDDP v2

• Entraînez Llama 2 à l'aide de la bibliothèque parallèle de données SageMaker distribuées (SMDDP) et DeepSpeed

• Entraînez Falçon à l'aide de la bibliothèque de données parallèles SageMaker distribuées (SMDDP) et du parallélisme de données PyTorch entièrement partagé (FSDP)

Exemples de SMDDP v1

• CNN avec PyTorch et la bibliothèque de parallélisme SageMaker des données

• BERT avec PyTorch et la bibliothèque de parallélisme de SageMaker données

• CNN avec TensorFlow 2.3.1 et la bibliothèque de parallélisme SageMaker des données

• BERT avec TensorFlow 2.3.1 et la bibliothèque de parallélisme SageMaker de données

• HuggingFace Formation parallèle aux données distribuées en mode «  PyTorch  on » SageMaker - Réponse distribuée aux questions

• HuggingFace Formation parallèle aux données distribuées PyTorch sur la SageMaker synthèse de texte distribuée

• HuggingFace Formation parallèle aux données distribuées TensorFlow en un SageMaker