Organisez une formation distribuée avec la bibliothèque de parallélisme de données SageMaker distribué - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Organisez une formation distribuée avec la bibliothèque de parallélisme de données SageMaker distribué

La bibliothèque de parallélisme des données SageMaker distribuées (SMDDP) étend les capacités de SageMaker formation sur les modèles d'apprentissage profond avec une efficacité de mise à l'échelle quasi linéaire en fournissant des implémentations d'opérations de communication collective optimisées pour l'infrastructure. AWS

Lorsqu'ils entraînent de grands modèles de machine learning (ML), tels que les grands modèles de langage (LLM) et les modèles de diffusion, sur un vaste ensemble de données de formation, les praticiens du ML utilisent des clusters d'accélérateurs et des techniques d'entraînement distribuées afin de réduire le temps d'entraînement ou de résoudre les contraintes de mémoire pour les modèles qui ne peuvent pas tenir dans la mémoire de chaque GPU. Les professionnels du ML commencent souvent par utiliser plusieurs accélérateurs sur une seule instance, puis les adaptent à des clusters d'instances à mesure que leurs exigences en matière de charge de travail augmentent. À mesure que la taille du cluster augmente, la charge de communication entre plusieurs nœuds augmente également, ce qui entraîne une baisse des performances informatiques globales.

Pour résoudre ces problèmes de surcharge et de mémoire, la bibliothèque SMDDP propose les solutions suivantes.

  • La bibliothèque SMDDP optimise les tâches de formation pour l'infrastructure AWS réseau et la topologie des instances Amazon SageMaker ML.

  • La bibliothèque SMDDP améliore la communication entre les nœuds grâce à des implémentations AllReduce et à des opérations de communication AllGather collective optimisées pour l'infrastructure. AWS

Pour en savoir plus sur les détails des offres de bibliothèque SMDDP, rendez-vous sur. Présentation de la bibliothèque de parallélisme de données SageMaker distribué

Pour plus d'informations sur l'entraînement avec la stratégie de modélisation parallèle proposée par SageMaker, voir également. (Archivé) bibliothèque de parallélisme de SageMaker modèles v1.x

Rubriques