Exemplos da biblioteca SageMaker de paralelismo de dados da Amazon

Esta página fornece notebooks Jupyter que apresentam exemplos de implementação da biblioteca de paralelismo de dados SageMaker distribuídos (SMDDP) para executar trabalhos de treinamento distribuídos. SageMaker

Blogs e estudos de caso

Os blogs a seguir discutem estudos de caso sobre o uso da biblioteca SMDDP.

Blogs do SMDDP v2

• Permita um treinamento mais rápido com a biblioteca paralela de SageMaker dados da Amazon, AWS Machine Learning Blog (05 de dezembro de 2023)

Blogs do SMDDP v1

• Como treinei 10 TB para difusão estável SageMaker no Medium (29 de novembro de 2022)

• Execute o PyTorch Lightning e o PyTorch DDP nativo no Amazon SageMaker Training, com o Amazon Search, AWS Machine Learning Blog (18 de agosto de 2022)

• Treinando o YOLOv5 AWS com PyTorch a biblioteca paralela de dados SageMaker distribuídos, Medium (6 de maio de 2022)

• Acelere o treinamento de EfficientNet modelos SageMaker com PyTorch e com a biblioteca paralela de dados SageMaker distribuídos, Medium (21 de março de 2022)

• Acelere o EfficientNet treinamento AWS com a biblioteca paralela de dados SageMaker distribuídos, Towards Data Science (12 de janeiro de 2022)

• Hyundai reduz o tempo de treinamento de modelos de ML para modelos de direção autônoma usando a Amazon SageMaker, Blog AWS de Machine Learning (25 de junho de 2021)

• Treinamento distribuído: Treine o BART/T5 para resumir usando Transformers e Amazon, o site SageMaker Hugging Face (8 de abril de 2021)

Cadernos de exemplo

Notebooks de exemplo são fornecidos no GitHub repositório SageMaker de exemplos. Para baixar os exemplos, execute o comando a seguir para clonar o repositório e acesse. training/distributed_training/pytorch/data_parallel

nota

Clone e execute os notebooks de exemplo nos seguintes IDEs de SageMaker ML.

• SageMaker JupyterLab(disponível no Studio criado após dezembro de 2023)

• SageMaker Editor de código (disponível no Studio criado após dezembro de 2023)

• Studio Classic (disponível como um aplicativo no Studio criado após dezembro de 2023)

• SageMaker Instâncias de notebook

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

Exemplos de SMDDP v2

• Treine o Llama 2 usando a biblioteca paralela de dados SageMaker distribuídos (SMDDP) e DeepSpeed

• Treine o Falcon usando a biblioteca paralela de dados SageMaker distribuídos (SMDDP) e o paralelismo de dados PyTorch totalmente fragmentado (FSDP)

Exemplos de SMDDP v1

• CNN com PyTorch e a biblioteca de SageMaker paralelismo de dados

• BERT com PyTorch e a biblioteca de SageMaker paralelismo de dados

• CNN com TensorFlow 2.3.1 e a biblioteca de paralelismo de SageMaker dados

• BERT com TensorFlow 2.3.1 e a biblioteca de SageMaker paralelismo de dados

• HuggingFace Treinamento paralelo de dados distribuídos em PyTorch on SageMaker - Resposta distribuída de perguntas

• HuggingFace Treinamento paralelo de dados distribuídos em PyTorch on SageMaker - Resumo de texto distribuído

• HuggingFace Treinamento paralelo de dados distribuídos TensorFlow em um SageMaker