Ejemplos de la biblioteca de paralelismo de SageMaker modelos de Amazon v1

Esta página proporciona una lista de blogs y cuadernos de Jupyter que presentan ejemplos prácticos de la implementación de la biblioteca de paralelismo de SageMaker modelos (SMP) v1 para ejecutar trabajos de formación distribuidos. SageMaker

Blogs y casos prácticos

En los siguientes blogs se analizan casos prácticos sobre el uso de SMP v1.

• Nuevas mejoras de rendimiento en la biblioteca de paralelismo de SageMaker modelos de Amazon, AWS Machine Learning Blog (16 de diciembre de 2022)

• Entrene modelos gigantescos con escalado casi lineal mediante el paralelismo de datos fragmentados en Amazon, SageMaker Machine AWS Learning Blog (31 de octubre de 2022)

Cuadernos de ejemplo

En el repositorio de ejemplos se proporcionan cuadernos de ejemplo. SageMaker GitHub Para descargar los ejemplos, ejecute el siguiente comando para clonar el repositorio y vaya atraining/distributed_training/pytorch/model_parallel.

nota

Clona y ejecuta los cuadernos de ejemplo en los siguientes IDE de SageMaker ML.

• SageMaker JupyterLab(disponible en Studio creado después de diciembre de 2023)

• SageMaker Editor de código (disponible en Studio creado después de diciembre de 2023)

• Studio Classic (disponible como aplicación en Studio creada después de diciembre de 2023)

• SageMaker Instancias de notebook

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel

Ejemplos de cuadernos SMP v1 para PyTorch

• Entrene el GPT-2 con un escalado casi lineal utilizando la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Ajuste el GPT-2 con un escalado casi lineal mediante la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Entrene el GPT-NeoX-20B con un escalado casi lineal mediante la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Entrene el GPT-J 6B con las técnicas de paralelismo de datos fragmentados y paralelismo tensorial de la biblioteca de paralelismo de modelos SageMaker

• Entrene el FLAN-T5 con un escalado casi lineal utilizando la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Entrene a Falcon con un escalado casi lineal utilizando la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

Ejemplos de cuadernos SMP v1 para TensorFlow

• CNN con la TensorFlow versión 2.3.1 y la biblioteca de modelos de SageMaker paralelismo

• HuggingFace con la biblioteca de TensorFlow paralelismo de modelos distribuidos Training on SageMaker