Exemplos da biblioteca de paralelismo de SageMaker modelos da Amazon v1

Esta página fornece uma lista de blogs e notebooks Jupyter que apresentam exemplos práticos da implementação da biblioteca de paralelismo de SageMaker modelos (SMP) v1 para executar trabalhos de treinamento distribuídos. SageMaker

Blogs e estudos de caso

Os blogs a seguir discutem estudos de caso sobre o uso do SMP v1.

• Novas melhorias de desempenho na biblioteca de paralelismo de SageMaker modelos da Amazon, AWS Machine Learning Blog (16 de dezembro de 2022)

• Treine modelos gigantescos com escalabilidade quase linear usando paralelismo de dados fragmentados na Amazon, SageMaker Machine AWS Learning Blog (31 de outubro de 2022)

Cadernos de exemplo

Notebooks de exemplo são fornecidos no GitHub repositório SageMaker de exemplos. Para baixar os exemplos, execute o comando a seguir para clonar o repositório e acesse. training/distributed_training/pytorch/model_parallel

nota

Clone e execute os notebooks de exemplo nos seguintes IDEs de SageMaker ML.

• SageMaker JupyterLab(disponível no Studio criado após dezembro de 2023)

• SageMaker Editor de código (disponível no Studio criado após dezembro de 2023)

• Studio Classic (disponível como um aplicativo no Studio criado após dezembro de 2023)

• SageMaker Instâncias de notebook

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel

Exemplos de notebooks SMP v1 para PyTorch

• Treine o GPT-2 com escala quase linear usando a técnica de paralelismo de dados fragmentados na biblioteca de paralelismo de modelos SageMaker

• Ajuste o GPT-2 com escala quase linear usando a técnica de paralelismo de dados fragmentados na biblioteca de paralelismo de modelos SageMaker

• Treine o GPT-Neox-20b com escala quase linear usando a técnica de paralelismo de dados fragmentados na biblioteca de paralelismo de modelos SageMaker

• Treine o GPT-J 6B usando as técnicas de paralelismo de dados fragmentados e paralelismo de tensores na biblioteca de paralelismo de modelos SageMaker

• Treine o FLAN-T5 com escala quase linear usando a técnica de paralelismo de dados fragmentados na biblioteca de paralelismo de modelos SageMaker

• Treine o Falcon com escala quase linear usando a técnica de paralelismo de dados fragmentados na biblioteca de paralelismo de modelos SageMaker

Exemplos de notebooks SMP v1 para TensorFlow

• CNN com TensorFlow 2.3.1 e a biblioteca de paralelismo de SageMaker modelos

• HuggingFace com biblioteca de paralelismo de modelos TensorFlow distribuídos Treinamento em SageMaker