AWS Batch supporto per lavori di formazione SageMaker sull'intelligenza artificiale

Una coda di AWS Batch lavoro archivia e assegna priorità ai lavori inviati prima che vengano eseguiti su risorse di elaborazione. Puoi inviare i lavori di formazione sull' SageMaker intelligenza artificiale a una coda di lavoro per sfruttare gli strumenti di pianificazione e prioritizzazione dei lavori senza server forniti da. AWS Batch

Come funziona

I passaggi seguenti descrivono il flusso di lavoro su come utilizzare una coda di AWS Batch lavoro con i lavori di formazione AI. SageMaker Per tutorial più dettagliati e taccuini di esempio, consulta la sezione. Inizia a usare

• Configurazione ed eventuali autorizzazioni necessarie AWS Batch . Per ulteriori informazioni, consulta Configurazione AWS Batch nella Guida per l'AWS Batch utente.

• Crea le seguenti AWS Batch risorse nella console o utilizzando AWS CLI:

  • Ambiente di servizio: contiene i parametri di configurazione per l'integrazione con l' SageMaker intelligenza artificiale.

  • SageMaker Coda di lavoro per la formazione sull'intelligenza artificiale: si integra con l' SageMaker intelligenza artificiale per inviare lavori di formazione.

• Configura i tuoi dati e richiedi un lavoro di formazione sull' SageMaker intelligenza artificiale, ad esempio l'immagine del tuo contenitore di formazione. Per inviare un lavoro di formazione a una AWS Batch coda, puoi utilizzare l'SDK Python AI o AWS SDK per Python (Boto3) l' SageMaker AI Python SDK. AWS CLI

• Invia i tuoi lavori di formazione alla coda delle offerte di lavoro. Puoi utilizzare le seguenti opzioni per inviare offerte di lavoro:

  • Utilizza l'API di AWS Batch SubmitServiceJob.

  • Usa il aws_batchmodulo dell'SDK SageMaker AI Python. Dopo aver creato un TrainingQueue oggetto e un oggetto di addestramento del modello (come un Estimator o ModelTrainer), puoi inviare lavori di formazione all'utente che TrainingQueue utilizza il metodo. queue.submit()

• Dopo aver inviato i lavori, visualizza la coda dei lavori e lo stato dei lavori con la AWS Batch console, l' AWS Batch DescribeServiceJobAPI o l' SageMaker API AI. DescribeTrainingJob

Costo e disponibilità

Per informazioni dettagliate sui prezzi dei lavori di formazione, consulta i prezzi di Amazon SageMaker AI. Con AWS Batch, paghi solo per le AWS risorse utilizzate, come le EC2 istanze Amazon. Per ulteriori informazioni, consulta Prezzi di AWS Batch.

Puoi utilizzarlo AWS Batch per lavori di formazione sull' SageMaker intelligenza artificiale Regione AWS ovunque siano disponibili lavori di formazione. Per ulteriori informazioni, consulta Endpoint e quote Amazon SageMaker AI.

Per assicurarti di avere la capacità richiesta quando ne hai bisogno, puoi utilizzare SageMaker AI Flexible Training Plans (FTP). Questi piani ti consentono di riservare capacità per i tuoi lavori di formazione. In combinazione con le funzionalità AWS Batch di accodamento, è possibile massimizzarne l'utilizzo durante la durata del piano. Per ulteriori informazioni, consulta Riserva piani di formazione per te, corsi di formazione per lavori o cluster. HyperPod

Inizia a usare

Per un tutorial su come impostare una coda di AWS Batch lavoro e inviare lavori di formazione AWS Batch sull' SageMaker intelligenza artificiale, vedi Guida introduttiva all' SageMaker IA nella Guida per l'AWS Batch utente.

Per i notebook Jupyter che mostrano come utilizzare il modulo aws_batch nell'SDK AI SageMaker Python, consulta gli esempi di notebook AWS Batch for SageMaker AI Training jobs nel repository. amazon-sagemaker-examples GitHub