Exemplos da biblioteca de paralelismo de SageMaker modelos da Amazon v2

Esta página fornece uma lista de blogs e notebooks Jupyter que apresentam exemplos práticos da implementação da biblioteca v2 de paralelismo de SageMaker modelos (SMP) para executar trabalhos de treinamento distribuídos. SageMaker

Blogs e estudos de caso

Os blogs a seguir discutem estudos de caso sobre o uso do SMP v2.

• A biblioteca paralela SageMaker modelo da Amazon agora acelera as cargas de trabalho PyTorch do FSDP em até 20%

PyTorch exemplos de cadernos

Notebooks de exemplo são fornecidos no GitHub repositório SageMaker de exemplos. Para baixar os exemplos, execute o comando a seguir para clonar o repositório e acesse. training/distributed_training/pytorch/model_parallel_v2

nota

Clone e execute os notebooks de exemplo nos seguintes IDEs de SageMaker ML.

• SageMaker JupyterLab(disponível no Studio criado após dezembro de 2023)

• SageMaker Editor de código (disponível no Studio criado após dezembro de 2023)

• Studio Classic (disponível como um aplicativo no Studio criado após dezembro de 2023)

• SageMaker Instâncias de notebook

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel_v2

Notebooks de exemplo SMP v2

• Acelere o treinamento do Llama v2 com SMP v2, PyTorch FSDP e Transformer Engine executando o treinamento de FP8 em instâncias P5

• Ajuste o Llama v2 com SMP v2 e PyTorch FSDP em grande escala usando paralelismo de tensores, fragmentação híbrida e descarregamento de ativação

• Treine GPT-Neox com SMP v2 e FSDP em grande escala PyTorch

• Ajuste o GPT-Neox com SMP v2 e PyTorch FSDP em grande escala usando paralelismo de tensores, fragmentação híbrida e descarregamento de ativação