Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Caratteristiche principali della libreria di parallelismo dei SageMaker modelli v2
La libreria di parallelismo dei SageMaker modelli Amazon v2 (SMP v2) offre strategie di distribuzione e tecniche di risparmio di memoria, come il parallelismo dei dati condivisi, il parallelismo tensoriale e il checkpoint. Le strategie e le tecniche di parallelismo dei modelli offerte da SMP v2 aiutano a distribuire modelli di grandi dimensioni su più dispositivi, ottimizzando al contempo la velocità di allenamento e il consumo di memoria. SMP v2 fornisce anche un pacchetto Python torch.sagemaker per aiutare ad adattare lo script di formazione con poche righe di modifica del codice.
Questa guida segue il flusso di base in due fasi introdotto in. Inizia con la libreria di parallelismo dei SageMaker modelli v2 Per approfondire le funzionalità principali di SMP v2 e come utilizzarle, consulta i seguenti argomenti.
Nota
Queste funzionalità principali sono disponibili in SMP v2.0.0 e versioni successive e in SageMaker Python SDK v2.200.0 e versioni successive, e funzionano per la versione 2.0.1 e successive. PyTorch Per controllare le Framework supportati e Regioni AWS versioni dei pacchetti, consulta.
Argomenti
- Parallelismo ibrido dei dati frammentati
- Parallelismo esperto
- Compatibilità con la libreria SMDDP ottimizzata per l'infrastruttura AWS
- Allenamento misto di precisione
- Inizializzazione ritardata dei parametri
- Checkpoint di attivazione
- Offload di attivazione
- Parallelismo tensoriale
- Ottimizzazione
- FlashAttention
- Salva e carica i checkpoint durante l'utilizzo di SMP
