AWS Batch suporte para trabalhos de treinamento em SageMaker IA

Uma fila de AWS Batch trabalhos armazena e prioriza os trabalhos enviados antes de serem executados em recursos computacionais. Você pode enviar trabalhos de treinamento de SageMaker IA para uma fila de trabalhos para aproveitar as ferramentas de agendamento e priorização de tarefas sem servidor fornecidas pela. AWS Batch

Como funciona

As etapas a seguir descrevem o fluxo de trabalho de como usar uma AWS Batch fila de trabalhos com trabalhos de treinamento de SageMaker IA. Para tutoriais mais detalhados e exemplos de cadernos, consulte a seção. Conceitos básicos

• Configuração AWS Batch e todas as permissões necessárias. Para obter mais informações, consulte Configurar o AWS Batch no Manual do usuário do AWS Batch .

• Crie os seguintes AWS Batch recursos no console ou usando o AWS CLI:

  • Ambiente de serviço — contém parâmetros de configuração para integração com a SageMaker IA.

  • SageMaker Fila de trabalhos de treinamento de IA — integra-se à SageMaker IA para enviar trabalhos de treinamento.

• Configure seus detalhes e solicite um trabalho de treinamento de SageMaker IA, como a imagem do contêiner de treinamento. Para enviar um trabalho de treinamento para uma AWS Batch fila, você pode usar o AWS CLI, o ou o AWS SDK para Python (Boto3) SageMaker AI Python SDK.

• Envie seus trabalhos de treinamento para a fila de trabalhos. Você pode usar as seguintes opções para enviar trabalhos:

  • Use a API do AWS Batch SubmitServiceJob.

  • Use o aws_batchmódulo do SDK SageMaker AI Python. Depois de criar um TrainingQueue objeto e um objeto de treinamento modelo (como um Estimador ou ModelTrainer), você pode enviar trabalhos de treinamento para o TrainingQueue usando o queue.submit() método.

• Depois de enviar trabalhos, visualize sua fila de trabalhos e o status do trabalho com o AWS Batch console, a AWS Batch DescribeServiceJobAPI ou a API de SageMaker IA DescribeTrainingJob.

Custo e disponibilidade

Para obter informações detalhadas sobre preços de trabalhos de treinamento, consulte os preços do Amazon SageMaker AI. Com AWS Batch, você paga apenas pelos AWS recursos usados, como EC2 instâncias da Amazon. Para obter mais informações, consulte Preços do AWS Batch.

Você pode usar AWS Batch para trabalhos de treinamento de SageMaker IA em qualquer Região da AWS lugar onde os trabalhos de treinamento estejam disponíveis. Para obter mais informações, consulte os endpoints e cotas do Amazon SageMaker AI.

Para garantir que você tenha a capacidade necessária quando precisar, você pode usar os planos de treinamento flexíveis (FTP) de SageMaker IA. Esses planos permitem que você reserve capacidade para seus trabalhos de treinamento. Quando combinado com os recursos AWS Batch de filas da, você pode maximizar a utilização durante a duração do seu plano. Para obter mais informações, consulte Reservar planos de treinamento para seus cargos ou HyperPod grupos de treinamento.

Conceitos básicos

Para ver um tutorial sobre como configurar uma fila de AWS Batch trabalhos e enviar trabalhos de treinamento em SageMaker IA, consulte Introdução à SageMaker IA AWS Batch no Guia do AWS Batch usuário.

Para notebooks Jupyter que mostram como usar o aws_batch módulo no SDK do AI SageMaker Python, consulte os exemplos de cadernos AWS Batch para trabalhos de treinamento em SageMaker IA no repositório. amazon-sagemaker-examples GitHub