Ejemplos de bibliotecas SageMaker de paralelismo de datos de Amazon

Esta página proporciona cuadernos de Jupyter con ejemplos de implementación de la biblioteca de paralelismo de datos SageMaker distribuidos (SMDDP) para ejecutar trabajos de formación distribuidos. SageMaker

Blogs y casos prácticos

En los siguientes blogs se analizan casos prácticos sobre el uso de la biblioteca SMDDP.

Blogs sobre SMDDP v2

• Realice un entrenamiento más rápido con la biblioteca paralela de SageMaker datos de Amazon, AWS Machine Learning Blog (5 de diciembre de 2023)

Blogs sobre SMDDP v1

• Cómo entrené 10 TB para Stable Diffusion SageMaker en Medium (29 de noviembre de 2022)

• Ejecute PyTorch Lightning y el PyTorch DDP nativo en Amazon SageMaker Training, que incluye Amazon Search, AWS Machine Learning Blog (18 de agosto de 2022)

• Capacitación para YoloV5 sobre AWS la biblioteca paralela de datos SageMaker distribuidos, Medium (6 de mayo de 2022) PyTorch

• Acelere el entrenamiento de EfficientNet modelos SageMaker con PyTorch la biblioteca paralela de datos SageMaker distribuidos, Medium (21 de marzo de 2022)

• Acelere la EfficientNet formación AWS con la biblioteca paralela de datos SageMaker distribuidos, Towards Data Science (12 de enero de 2022)

• Hyundai reduce el tiempo de entrenamiento de los modelos de aprendizaje automático para los modelos de conducción autónoma mediante Amazon SageMaker, AWS Machine Learning Blog (25 de junio de 2021)

• Capacitación distribuida: entrena a BART/T5 para resumir utilizando Transformers y Amazon, el sitio web SageMaker Hugging Face (8 de abril de 2021)

Cuadernos de ejemplo

Se proporcionan cuadernos de ejemplo en el repositorio de ejemplos. SageMaker GitHub Para descargar los ejemplos, ejecute el siguiente comando para clonar el repositorio y vaya atraining/distributed_training/pytorch/data_parallel.

nota

Clona y ejecuta los cuadernos de ejemplo en los siguientes IDE de SageMaker ML.

• SageMaker JupyterLab(disponible en Studio creado después de diciembre de 2023)

• SageMaker Editor de código (disponible en Studio creado después de diciembre de 2023)

• Studio Classic (disponible como aplicación en Studio creada después de diciembre de 2023)

• SageMaker Instancias de notebooks

git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

Ejemplos de SMDDP v2

• Entrene a Llama 2 utilizando la biblioteca paralela de datos SageMaker distribuidos (SMDDP) y DeepSpeed

• Entrene a Falcon con la biblioteca paralela de datos SageMaker distribuidos (SMDDP) y el paralelismo de datos PyTorch totalmente fragmentado (FSDP)

Ejemplos de SMDDP v1

• CNN con PyTorch y la biblioteca de paralelismo de SageMaker datos

• BERT con PyTorch y la biblioteca de paralelismo de datos SageMaker

• CNN con la TensorFlow versión 2.3.1 y la biblioteca de paralelismo de datos SageMaker

• BERT con TensorFlow 2.3.1 y la biblioteca de paralelismo de datos SageMaker

• HuggingFace Capacitación paralela sobre datos distribuidos PyTorch sobre SageMaker respuestas a preguntas no distribuidas

• HuggingFace Capacitación paralela sobre datos distribuidos PyTorch sobre el SageMaker resumen de textos no distribuidos

• HuggingFace Formación paralela sobre datos distribuidos TensorFlow SageMaker