Prenota piani di formazione per i tuoi lavori o HyperPod cluster di formazione

I piani di SageMaker formazione di Amazon sono una funzionalità che ti consente di prenotare e contribuire a massimizzare l'uso della capacità della GPU per carichi di lavoro di formazione su modelli di intelligenza artificiale su larga scala. Questa funzionalità fornisce l'accesso a tipi di istanze molto richiesti che coprono una gamma di opzioni di elaborazione con accelerazione GPU, tra cui le più recenti tecnologie GPU NVIDIA e i chip Trainium. AWS Con i piani di SageMaker formazione, puoi assicurarti un accesso prevedibile a queste risorse computazionali ad alte prestazioni e richieste nel rispetto delle tempistiche e dei budget specificati, senza la necessità di gestire l'infrastruttura sottostante. Questa flessibilità è particolarmente utile per le organizzazioni che devono affrontare le sfide legate all'acquisizione e alla pianificazione di queste istanze di elaborazione con sottoscrizione eccessiva per i loro carichi di lavoro di intelligenza artificiale mission-critical.

Cosa SageMaker sono i piani di formazione

SageMaker i piani di formazione consentono di creare prenotazioni per la capacità di elaborazione personalizzate in base alle esigenze di risorse specifiche, ad esempio lavori di SageMaker formazione o SageMaker HyperPod cluster. Il servizio gestisce automaticamente la fornitura di risorse di elaborazione accelerate, la configurazione dell'infrastruttura, l'esecuzione dei carichi di lavoro e il ripristino in caso di guasti dell'infrastruttura.

SageMaker Vantaggi dei piani di formazione

SageMaker i piani di formazione offrono i seguenti vantaggi:

• Accesso prevedibile: riserva la capacità della GPU per i carichi di lavoro di machine learning entro intervalli di tempo specifici.

• Gestione dei costi: pianificazione e budget per esigenze di formazione su larga scala in anticipo.

• Gestione automatizzata delle risorse: i piani di SageMaker formazione gestiscono l'approvvigionamento e la gestione dell'infrastruttura.

• Flessibilità: crea piani di formazione per varie risorse, inclusi SageMaker corsi di formazione e SageMaker HyperPod cluster.

• Tolleranza agli errori: sfrutta il ripristino automatico dai guasti dell'infrastruttura e la migrazione dei carichi di lavoro tra le zone di disponibilità per i lavori di formazione sull' SageMaker intelligenza artificiale.

SageMaker piani di formazione, flusso di lavoro degli utenti

SageMaker i piani di formazione prevedono i seguenti passaggi:

Passaggi di amministrazione:

1. Ricerca e revisione: trova le offerte di piani disponibili che soddisfano i tuoi requisiti di elaborazione, come il tipo di istanza, il numero, l'ora di inizio e la durata.

2. Crea un piano: prenota un piano di formazione che soddisfi le tue esigenze utilizzando l'ID dell'offerta del piano prescelta.

3. Pagamento e pianificazione: dopo l'avvenuto pagamento anticipato, lo stato del piano diventa. Scheduled

Passaggi per gli utenti del piano e gli ingegneri ML:

1. Allocazione delle risorse: utilizza il tuo piano per mettere in coda i lavori di formazione sull' SageMaker intelligenza artificiale o allocarli a un SageMaker HyperPod gruppo di istanze del cluster.

2. Attivazione: quando arriva la data di inizio del piano, diventa. Active In base alla capacità riservata disponibile, i piani di SageMaker formazione avviano automaticamente lavori di formazione o forniscono gruppi di istanze.

I seguenti diagrammi forniscono una panoramica completa del modo in cui i piani di SageMaker formazione interagiscono con le diverse risorse target, illustrando il ciclo di vita di un piano e il suo ruolo nell'allocazione delle risorse sia per i lavori di formazione che per i cluster. SageMaker SageMaker HyperPod

• Piani di SageMaker formazione per Training Job: il primo diagramma illustra il end-to-end flusso di lavoro dell'interazione tra un piano di formazione e Training SageMaker Job.

  

• Piani di formazione per SageMaker HyperPod i cluster: il secondo diagramma illustra il end-to-end flusso di lavoro dell'interazione tra un piano di formazione e un gruppo di istanze. SageMaker HyperPod

  

Tipi di istanze supportati e Regioni AWS

I piani di formazione supportano le prenotazioni per i seguenti tipi specifici di istanze ad alte prestazioni, ciascuno disponibile in AWS regioni selezionate:

• ml.p4d.24xlarge

• ml.p5,48 xlarge

• ml.p5e.48 xlarge

• ml.p5en.48xlarge

• ml.trn1,32xlarge

• ml.trn 2,48 x large

Nota

La disponibilità dei tipi di istanze può cambiare nel tempo. Per la maggior parte delle up-to-date informazioni sui tipi di istanze disponibili in base alla regione e sui rispettivi prezzi, consulta SageMaker AI Pricing. Scorri verso il basso fino alla sezione Piani di formazione SageMaker HyperPod flessibili di Amazon nella sezione Prezzi su richiesta. Seleziona una regione per visualizzare l'elenco dei tipi di istanze disponibili.

La disponibilità in più aree consente di scegliere la posizione più adatta per i carichi di lavoro, tenendo conto di fattori quali i requisiti di residenza dei dati e la vicinanza ad altri AWS servizi.

Importante

Puoi utilizzare i piani di SageMaker formazione per prenotare le istanze con le seguenti opzioni di durata e quantità di istanze.

• Le durate delle prenotazioni sono disponibili in incrementi di 1 giorno da 1 a 182 giorni.

• Le opzioni relative alla quantità delle istanze di prenotazione sono 1, 2, 4, 8, 16, 32 o 64 istanze.

Composizione del piano

Un piano di SageMaker formazione può essere costituito da uno o più blocchi di capacità riservata, ciascuno definito da:

• Tipo di istanza specifico

• Quantità di istanze

• Zona di disponibilità

• Durata

• Orari di inizio e fine

Nota

• I piani di formazione sono specifici per la risorsa target ( SageMaker Training Job o SageMaker HyperPod) e non possono essere scambiati.

• Più blocchi di capacità riservata in un unico piano di formazione possono essere discontinui. Ciò significa che possono esserci degli intervalli tra i blocchi di tempo riservati.

• Lo stato del piano di formazione passa Scheduled da Active quando inizia un periodo di capacità riservata, e poi torna a Scheduled quando attende l'inizio del periodo di capacità riservata successivo.

• Processo di cessazione della capacità riservata: hai pieno accesso a tutte le istanze riservate fino a 30 minuti prima della fine della capacità riservata. Quando rimangono 30 minuti nella capacità riservata, i piani di SageMaker formazione avviano il processo di chiusura di tutte le istanze in esecuzione all'interno di tale capacità riservata.

SageMaker piani di formazione (comportamento di ricerca)

Quando si cerca un'offerta di piani di formazione, i piani di SageMaker formazione utilizzano il seguente approccio per massimizzare la disponibilità delle risorse e la flessibilità per gli utenti, anche quando la domanda è elevata e i blocchi di tempo continui sono scarsi:

• Ricerca continua iniziale: il sistema tenta innanzitutto di trovare un singolo blocco continuo di capacità riservata che soddisfi tutti i criteri specificati (risorsa di destinazione, tipo di istanza richiesta, numero di istanze, durata della prenotazione, date di inizio e fine).

• Ricerca in due blocchi:

  • SageMaker i piani di formazione non restituiscono immediatamente il risultato «nessuna capacità» se non è disponibile un singolo blocco continuo di capacità riservata che soddisfa tutti i criteri. Al contrario, tenta automaticamente di soddisfare la richiesta utilizzando due blocchi di capacità riservata separati.

  • In questo scenario, la durata totale della richiesta viene suddivisa in due segmenti di tempo non contigui. Ad esempio, se un utente richiede una prenotazione di 48 ore, il sistema potrebbe offrire un piano con due blocchi di 24 ore, potenzialmente in giorni o settimane diversi, a seconda della disponibilità e delle date di inizio e fine.

  • Questo approccio a due blocchi offre una maggiore flessibilità nell'allocazione delle risorse e consente potenzialmente di proteggere istanze ad alta richiesta che altrimenti non sarebbero disponibili per l'intera durata richiesta.

Nota

Considerazione degli utenti:

• Quando si presenta un'offerta a due blocchi, gli utenti devono valutare attentamente se questa allocazione suddivisa soddisfa i requisiti del carico di lavoro.

• Ciò potrebbe richiedere un adeguamento della pianificazione dei lavori o della distribuzione del carico di lavoro per tenere conto della natura non continua della prenotazione.

Quando cercano offerte di piani di formazione, i piani di SageMaker formazione adattano la propria strategia di ricerca in base alla risorsa target:

• Per i SageMaker HyperPod cluster:

  • Le offerte sono limitate a una singola zona di disponibilità (AZ).

  • Ciò garantisce prestazioni di rete e localizzazione dei dati coerenti all'interno del cluster.

• Per i lavori SageMaker di formazione:

  • Le offerte possono estendersi su più zone di disponibilità.

  • Ciò è particolarmente importante quando l'offerta del piano contiene più capacità riservate discontinue.

  • Ad esempio, un piano potrebbe includere la capacità in AZ-A per un blocco di capacità riservata e AZ-B per un altro. SageMaker i piani di formazione possono spostare automaticamente i carichi di lavoro tra le zone di disponibilità (AZs) in base alla disponibilità delle risorse.

  Questo approccio Multi-AZ per i lavori di formazione offre una maggiore flessibilità nell'allocazione delle risorse, aumentando le possibilità di trovare la capacità adeguata per il carico di lavoro. Tuttavia, gli utenti devono essere consapevoli del fatto che i loro lavori possono svolgersi in modo diverso AZs durante le diverse fasi del periodo di prenotazione.