AWS Batch soporte para trabajos de formación en SageMaker IA

Una cola de AWS Batch trabajos almacena y prioriza los trabajos enviados antes de que se ejecuten en recursos informáticos. Puede enviar los trabajos de formación en SageMaker IA a una cola de trabajos para aprovechar las herramientas de priorización y programación de tareas sin servidor que ofrece. AWS Batch

Funcionamiento

En los siguientes pasos se describe el flujo de trabajo para utilizar una cola de trabajos con AWS Batch SageMaker trabajos de formación en IA. Para ver tutoriales más detallados y ejemplos de cuadernos, consulta la Introducción sección.

• Configuración AWS Batch y todos los permisos necesarios. Para obtener más información, consulte Configuración de AWS Batch en la Guía del usuario de AWS Batch .

• Cree los siguientes AWS Batch recursos en la consola o mediante AWS CLI:

  • Entorno de servicio: contiene parámetros de configuración para la integración con la SageMaker IA.

  • SageMaker Lista de trabajos de formación en IA: se integra con la SageMaker IA para enviar trabajos de formación.

• Configura tus datos y solicita un trabajo de formación en SageMaker IA, como la imagen de tu contenedor de formación. Para enviar un trabajo de formación a una AWS Batch cola, puede utilizar el AWS CLI, el o el AWS SDK para Python (Boto3) SDK de Python para SageMaker IA.

• Envía tus trabajos de formación a la cola de trabajos. Puedes usar las siguientes opciones para enviar trabajos:

  • Uso de la API de AWS Batch SubmitServiceJob.

  • Usa el aws_batchmódulo del SDK de Python para SageMaker IA. Tras crear un TrainingQueue objeto y un objeto de entrenamiento modelo (por ejemplo, un estimador o ModelTrainer), puedes enviar los trabajos de entrenamiento al TrainingQueue queue.submit() método.

• Tras enviar los trabajos, consulta la cola de trabajos y el estado de los trabajos con la AWS Batch consola, la AWS Batch DescribeServiceJobAPI o la SageMaker API de IA. DescribeTrainingJob

Coste y disponibilidad

Para obtener información detallada sobre los precios de los trabajos de formación, consulta los precios de Amazon SageMaker AI. Con AWS Batch, solo pagas por los AWS recursos utilizados, como las EC2 instancias de Amazon. Para más información, consulte Precios de AWS Batch.

Puede utilizarlos AWS Batch para trabajos de formación en SageMaker IA en cualquier Región de AWS lugar donde haya puestos de formación disponibles. Para obtener más información, consulte los puntos de conexión y las cuotas de Amazon SageMaker AI.

Para asegurarse de que dispone de la capacidad necesaria cuando la necesita, puede utilizar los planes de formación flexibles (FTP) de SageMaker IA. Estos planes le permiten reservar capacidad para sus trabajos de formación. Si se combinan con las capacidades AWS Batch de espera, puede maximizar la utilización durante la vigencia de su plan. Para obtener más información, consulta Reserva planes de formación para tus HyperPod grupos o trabajos de formación.

Introducción

Para ver un tutorial sobre cómo configurar una cola de AWS Batch trabajos y enviar trabajos de formación en SageMaker IA, consulte Primeros pasos con la SageMaker IA AWS Batch en la Guía del AWS Batch usuario.

Para ver los cuadernos de Jupyter que muestran cómo usar el aws_batch módulo en el SDK de SageMaker Python AWS Batch para IA, consulta los ejemplos de cuadernos de trabajos de formación de SageMaker IA en el repositorio. amazon-sagemaker-examples GitHub