AWS Batch soutien aux emplois de formation en SageMaker IA

Une file d'attente de AWS Batch tâches stocke et hiérarchise les tâches soumises avant qu'elles ne soient exécutées sur des ressources informatiques. Vous pouvez soumettre des tâches de formation à l' SageMaker IA à une file d'attente de tâches afin de tirer parti des outils de planification et de priorisation des tâches sans serveur fournis par. AWS Batch

Comment ça marche

Les étapes suivantes décrivent le flux de travail relatif à l'utilisation d'une file d'attente de AWS Batch tâches avec des tâches de formation basées sur l' SageMaker IA. Pour des didacticiels plus détaillés et des exemples de blocs-notes, consultez la Mise en route section.

• Configuration AWS Batch et toutes les autorisations nécessaires. Pour plus d'informations, consultez la section Configuration AWS Batch dans le guide de AWS Batch l'utilisateur.

• Créez les AWS Batch ressources suivantes dans la console ou à l'aide de AWS CLI :

  • Environnement de service : contient des paramètres de configuration pour l'intégration à l' SageMaker IA.

  • SageMaker File d'attente de formation basée sur l'IA — S'intègre à l' SageMaker IA pour soumettre des offres de formation.

• Configurez vos informations et demandez une tâche de formation à l' SageMaker IA, telle que l'image de votre conteneur de formation. Pour soumettre une tâche de formation à une AWS Batch file d'attente, vous pouvez utiliser le AWS CLI AWS SDK pour Python (Boto3), le ou le SDK SageMaker AI Python.

• Soumettez vos tâches de formation à la file d'attente des offres d'emploi. Vous pouvez utiliser les options suivantes pour soumettre des offres d'emploi :

  • Utilisez l'API AWS Batch SubmitServiceJob.

  • Utilisez le aws_batchmodule du SDK SageMaker AI Python. Après avoir créé un TrainingQueue objet et un modèle d'objet d'entraînement (tel qu'un estimateur ou ModelTrainer), vous pouvez soumettre des tâches de formation à l' TrainingQueue queue.submit()aide de cette méthode.

• Après avoir soumis des tâches, consultez votre file d'attente et le statut des tâches à l'aide de la AWS Batch console, de l' AWS Batch DescribeServiceJobAPI ou de l'DescribeTrainingJobAPI SageMaker AI.

Coût et disponibilité

Pour obtenir des informations détaillées sur les tarifs des offres de formation, consultez la tarification d'Amazon SageMaker AI. Avec AWS Batch, vous ne payez que pour les AWS ressources utilisées, telles que les EC2 instances Amazon. Pour en savoir plus, consultez Pricing AWS Batch (Tarification).

Vous pouvez l'utiliser AWS Batch pour les emplois de formation à l' SageMaker IA partout Région AWS où des emplois de formation sont disponibles. Pour plus d'informations, consultez la section Points de terminaison et quotas Amazon SageMaker AI.

Pour vous assurer de disposer de la capacité requise lorsque vous en avez besoin, vous pouvez utiliser les plans de formation flexibles (FTP) basés sur l' SageMaker IA. Ces plans vous permettent de réserver des capacités pour vos tâches de formation. Associée aux fonctionnalités AWS Batch de mise en file d'attente, vous pouvez optimiser l'utilisation pendant la durée de votre plan. Pour plus d'informations, consultez la section Réservez des plans de formation pour vos jobs ou HyperPod clusters de formation.

Mise en route

Pour un didacticiel sur la façon de configurer une file d'attente de AWS Batch tâches et de soumettre des tâches de formation sur l' SageMaker IA, voir Getting started with AWS Batch on SageMaker AI dans le guide de AWS Batch l'utilisateur.

Pour les blocs-notes Jupyter qui montrent comment utiliser le aws_batch module du SDK AI SageMaker Python, consultez les exemples de blocs-notes AWS Batch pour les tâches de formation en SageMaker IA dans le référentiel. amazon-sagemaker-examples GitHub