SageMaker biblioteca de paralelismo de modelos v2

nota

Desde o lançamento da biblioteca de paralelismo de SageMaker modelos (SMP) v2.0.0 em 19 de dezembro de 2023, essa documentação foi renovada para a biblioteca SMP v2. Para versões anteriores da biblioteca SMP, consulteBiblioteca de paralelismo de SageMaker modelos (arquivada) v1.x.

A biblioteca de paralelismo de SageMaker modelos da Amazon é um recurso SageMaker que permite treinamento otimizado e de alto desempenho em grande escala para SageMaker acelerar instâncias de computação. Principais características da biblioteca de paralelismo de SageMaker modelos v2Isso inclui técnicas e otimizações para acelerar e simplificar o treinamento de grandes modelos, como paralelismo híbrido de dados fragmentados, paralelismo de tensores, ponto de verificação de ativação e descarregamento de ativação. Você pode usar a biblioteca SMP para acelerar o treinamento e o ajuste fino de modelos de linguagem grande (LLMs), modelos de visão ampla (LVMs) e modelos básicos (FMs) com centenas de bilhões de parâmetros.

A biblioteca de paralelismo de SageMaker modelos v2 (SMP v2) alinha as APIs e os métodos da biblioteca com o paralelismo de dados PyTorch totalmente fragmentado (FSDP) de código aberto, o que oferece o benefício das otimizações de desempenho do SMP com o mínimo de alterações no código. Com o SMP v2, você pode melhorar o desempenho computacional do treinamento de um modelo state-of-the-art grande SageMaker trazendo seus scripts de treinamento do PyTorch FSDP para o. SageMaker

Você pode usar o SMP v2 para trabalhos gerais de SageMaker treinamento e cargas de trabalho de treinamento distribuídas em clusters. Amazon SageMaker HyperPod

Tópicos

• Introdução ao paralelismo de modelos
• Estruturas compatíveis e Regiões da AWS
• Comece com a biblioteca de paralelismo de SageMaker modelos v2
• Principais características da biblioteca de paralelismo de SageMaker modelos v2
• Exemplos da biblioteca de paralelismo de SageMaker modelos da Amazon v2
• SageMaker melhores práticas de paralelismo de modelos distribuídos
• A referência da biblioteca paralela do SageMaker modelo v2
• Notas de lançamento da biblioteca de SageMaker paralelismo de modelos
• Biblioteca de paralelismo de SageMaker modelos (arquivada) v1.x