Entraînez un modèle avec Amazon SageMaker

Amazon SageMaker Training est un service d'apprentissage automatique (ML) entièrement géré SageMaker qui vous permet de former efficacement un large éventail de modèles de machine learning à grande échelle. Le cœur des SageMaker tâches est la conteneurisation des charges de travail ML et la capacité de gérer AWS les ressources informatiques. La plateforme de SageMaker formation prend en charge le gros du travail associé à la mise en place et à la gestion de l'infrastructure pour les charges de travail de formation au ML. Avec SageMaker Training, vous pouvez vous concentrer sur le développement, la formation et la mise au point de votre modèle. Cette page présente trois méthodes recommandées pour commencer à entraîner un modèle SageMaker, suivies d'autres options que vous pouvez envisager.

Astuce

Pour plus d'informations sur les modèles de base de formation pour l'IA générative, consultez Utiliser les modèles de SageMaker JumpStart base dans Amazon SageMaker Studio.

Choisir une fonctionnalité dans Amazon SageMaker Training

Il existe trois principaux cas d'utilisation pour la formation de modèles de machine learning SageMaker. Cette section décrit ces cas d'utilisation, ainsi que les SageMaker fonctionnalités que nous recommandons pour chaque cas d'utilisation.

Que vous entraîniez des modèles d'apprentissage profond complexes ou que vous implémentiez des algorithmes d'apprentissage automatique plus petits, SageMaker Training fournit des solutions rationalisées et rentables qui répondent aux exigences de vos cas d'utilisation.

Cas d’utilisation

Voici les principaux cas d'utilisation de la formation de modèles de machine learning au sein de ce dernier SageMaker.

• Cas d'utilisation 1 : développer un modèle d'apprentissage automatique dans un environnement à code faible ou nul.

• Cas d'utilisation 2 : utilisez le code pour développer des modèles d'apprentissage automatique offrant plus de flexibilité et de contrôle.

• Cas d'utilisation 3 : Développez des modèles d'apprentissage automatique à grande échelle avec un maximum de flexibilité et de contrôle.

Fonctionnalités recommandées

Le tableau suivant décrit trois scénarios courants de formation de modèles de machine learning et les options correspondantes pour démarrer avec SageMaker Training.

	Cas d'utilisation 1	Cas d'utilisation 2	Cas d'utilisation 3
SageMaker fonctionnalité	Créez un modèle à l'aide d'Amazon SageMaker Canvas.	Entraînez un modèle à l'aide de l'un des algorithmes ML SageMaker intégrés tels que XGBoost ou les modèles spécifiques aux tâches à SageMaker JumpStart l'aide du SDK Python. SageMaker	Entraînez un modèle à grande échelle avec une flexibilité maximale en utilisant le mode script ou des conteneurs personnalisés SageMaker.
Description	Apportez vos données. SageMaker aide à gérer la création de modèles de machine learning et à configurer l'infrastructure et les ressources de formation.	Apportez vos données et choisissez l'un des algorithmes de machine learning intégrés fournis par SageMaker. Configurez les hyperparamètres du modèle, les métriques de sortie et les paramètres d'infrastructure de base à l'aide du SDK SageMaker Python. La plateforme SageMaker de formation permet de fournir l'infrastructure et les ressources de formation.	Développez votre propre code ML et apportez-le sous forme de script ou d'ensemble de scripts à SageMaker. Pour en savoir plus, consultez la section Informatique distribuée avec SageMaker les meilleures pratiques. De plus, vous pouvez apporter votre propre conteneur Docker. La plateforme de SageMaker formation permet de fournir l'infrastructure et les ressources de formation à grande échelle en fonction de vos paramètres personnalisés.
Optimisé pour	Développement de modèles à faible ou sans code et piloté par l'interface utilisateur avec expérimentation rapide avec un ensemble de données d'entraînement. Lorsque vous créez un modèle personnalisé, un algorithme est automatiquement sélectionné en fonction de vos données. Pour les options de personnalisation avancées telles que la sélection d'algorithmes, voir Configurations avancées de modélisation.	Modèles de machine learning dotés d'une personnalisation de haut niveau pour les hyperparamètres, les paramètres d'infrastructure et la possibilité d'utiliser directement des frameworks de machine learning et des scripts de point d'entrée pour plus de flexibilité. Utilisez des algorithmes intégrés, des modèles pré-entraînés et des JumpStart modèles via le SDK Amazon SageMaker Python pour développer des modèles de machine learning. Pour plus d'informations, voir Déploiement à faible code avec la JumpStart classe.	Charges de travail de formation ML à grande échelle, nécessitant plusieurs instances et une flexibilité maximale. Découvrez l'informatique distribuée avec SageMaker les meilleures pratiques. SageMaker utilise des images Docker pour héberger la formation et le service de tous les modèles. Vous pouvez utiliser n'importe quel algorithme SageMaker ou des algorithmes externes et utiliser des conteneurs Docker pour créer des modèles.
Considérations	Flexibilité minimale pour personnaliser le modèle fourni par Amazon SageMaker Canvas.	Le SDK SageMaker Python fournit une interface simplifiée et moins d'options de configuration par rapport à l'API d' SageMaker entraînement de bas niveau.	Nécessite une connaissance de AWS l'infrastructure et des options de formation distribuées. Voir également Créer votre propre conteneur de formation à l'aide de la boîte à outils de SageMaker formation.
Environnement recommandé	Utilisez Amazon SageMaker Canvas. Pour savoir comment le configurer, voir Commencer à utiliser SageMaker Canvas.	À utiliser SageMaker JupyterLabdans Amazon SageMaker Studio. Pour savoir comment le configurer, consultez Lancer Amazon SageMaker Studio.	À utiliser SageMaker JupyterLabdans Amazon SageMaker Studio. Pour savoir comment le configurer, consultez Lancer Amazon SageMaker Studio.

Options supplémentaires

SageMaker propose les options supplémentaires suivantes pour l'entraînement des modèles de machine learning.

SageMaker fonctionnalités offrant des capacités de formation

• SageMaker JumpStart: SageMaker JumpStart donne accès au hub de modèles SageMaker publics qui contient les derniers modèles de fondation (FM) accessibles au public et propriétaires. Vous pouvez affiner, évaluer et déployer ces modèles dans Amazon SageMaker Studio. SageMaker JumpStart rationalise le processus d'exploitation des modèles de base pour vos cas d'utilisation de l'IA générative et vous permet de créer des hubs de modèles privés pour utiliser les modèles de base tout en renforçant les barrières de gouvernance et en garantissant que votre organisation ne peut accéder qu'aux modèles approuvés. Pour commencer SageMaker JumpStart, consultez SageMaker JumpStart Foundation Models.

• SageMaker HyperPod: SageMaker HyperPod est un service de cluster persistant destiné aux cas d'utilisation nécessitant des clusters résilients pour des charges de travail massives liées au machine learning (ML) et pour le développement de modèles de state-of-the-art base (FM). Il accélère le développement de tels modèles en supprimant les tâches indifférenciées liées à la création et à la maintenance de clusters de calcul à grande échelle alimentés par des milliers d'accélérateurs tels que AWS Trainium ou les unités de traitement graphique (GPU) NVIDIA A100 et H100. Vous pouvez utiliser un logiciel de gestion de charge de travail tel que Slurm on. HyperPod

Autres fonctionnalités de la SageMaker formation

• Réglage des hyperparamètres : cette SageMaker fonctionnalité permet de définir un ensemble d'hyperparamètres pour un modèle et de lancer de nombreuses tâches de formation sur un ensemble de données. En fonction des valeurs des hyperparamètres, les performances d'entraînement du modèle peuvent varier. Cette fonctionnalité fournit l'ensemble d'hyperparamètres le plus performant dans la plage d'hyperparamètres définie pour la recherche.

• Formation distribuée : préformez ou affinez les FM conçus avec PyTorch NVIDIA CUDA et d'autres frameworks basés sur NVIDIA. PyTorch Pour utiliser efficacement les instances GPU, utilisez les bibliothèques de formation SageMaker distribuées qui proposent des opérations de communication collectives et diverses techniques de parallélisme de modèles, telles que le parallélisme expert et le parallélisme de données partagées, optimisées pour l'infrastructure. AWS

• Fonctionnalités d'observabilité : utilisez les fonctionnalités de profilage et de débogage de SageMaker Training pour mieux comprendre les charges de travail de formation des modèles, les performances des modèles et l'utilisation des ressources. Pour en savoir plus, consultez Déboguer et améliorer les performances du modèle et Profiler et optimiser les performances de calcul.

• Options d'instance économiques et efficaces : pour optimiser les coûts de calcul et l'efficacité du provisionnement des instances de formation, utilisez des clusters hétérogènes, des instances Spot gérées ou des pools dynamiques gérés.