Ejemplos de la biblioteca de paralelismo de modelos Amazon SageMaker AI v1

En esta página encontrará una lista de blogs y cuadernos de Jupyter que presentan ejemplos prácticos de la implementación de la biblioteca de paralelismo de SageMaker modelos (SMP), versión 1, para realizar trabajos de formación distribuidos sobre IA. SageMaker

Blogs y casos prácticos

En los siguientes blogs se analizan casos prácticos sobre el uso de SMP v1.

• Nuevas mejoras de rendimiento en la biblioteca de paralelismo de modelos de Amazon SageMaker AI, AWS Machine Learning Blog (16 de diciembre de 2022)

• Entrene modelos gigantescos con escalado casi lineal mediante el paralelismo de datos fragmentados en Amazon AI SageMaker , Machine AWS Learning Blog (31 de octubre de 2022)

Cuadernos de ejemplo

En el repositorio de ejemplos de IA se proporcionan cuadernos de ejemplo. SageMaker GitHub Para descargar los ejemplos, ejecute el siguiente comando para clonar el repositorio e ir a training/distributed_training/pytorch/model_parallel.

nota

Clona y ejecuta los cuadernos de ejemplo en el siguiente SageMaker AI ML. IDEs

• SageMaker JupyterLab(disponible en Studio creado después de diciembre de 2023)

• SageMaker Editor de código (disponible en Studio creado después de diciembre de 2023)

• Studio Classic (disponible como aplicación en Studio creado después de diciembre de 2023)

• SageMaker Instancias de cuadernos

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel

Ejemplos de cuadernos SMP v1 para PyTorch

• Entrene el GPT-2 con un escalado casi lineal utilizando la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Ajuste el GPT-2 con un escalado casi lineal mediante la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Entrene el GPT-NeoX-20B con un escalado casi lineal mediante la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Entrene el GPT-J 6B con las técnicas de paralelismo de datos fragmentados y paralelismo tensorial de la biblioteca de paralelismo de modelos SageMaker

• Entrene el FLAN-T5 con un escalado casi lineal utilizando la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

• Entrene a Falcon con un escalado casi lineal utilizando la técnica de paralelismo de datos fragmentados de la biblioteca de paralelismo de modelos SageMaker

Ejemplos de cuadernos SMP v1 para TensorFlow

• CNN con la TensorFlow versión 2.3.1 y la biblioteca de modelos de SageMaker paralelismo

• HuggingFace con la biblioteca de paralelismo de modelos TensorFlow distribuidos Training on AI SageMaker