Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
SageMaker notes de mise à jour de la bibliothèque de parallélisme des données
Consultez les notes de publication suivantes pour suivre les dernières mises à jour de la bibliothèque SMDDP ( SageMaker Distributed Data Parallelism).
La bibliothèque de parallélisme de données SageMaker distribué v2.3.0
Date : 11 juin 2024
Nouvelles fonctionnalités
-
Ajout du support pour la PyTorch version 2.3.0 avec CUDA v12.1 et Python v3.11.
-
Ajout du support pour PyTorch Lightning v2.2.5. Ceci est intégré dans le conteneur du SageMaker framework pour la PyTorch v2.3.0.
-
Ajout de la validation du type d'instance lors de l'importation pour empêcher le chargement de la bibliothèque SMDDP sur des types d'instance non pris en charge. Pour obtenir la liste des types d'instances compatibles avec la bibliothèque SMDDP, consultez. Frameworks et types Régions AWS d'instances pris en charge
Intégration dans les conteneurs SageMaker Framework
Cette version de la bibliothèque SMDDP est migrée vers le conteneur Framework suivantSageMaker .
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Pour obtenir la liste complète des versions de la bibliothèque SMDDP et des conteneurs prédéfinis, consultez. Frameworks et types Régions AWS d'instances pris en charge
Fichier binaire de cette version
Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Autres modifications
-
La bibliothèque SMDDP v2.2.0 est intégrée au conteneur du SageMaker framework pour v2.2.0. PyTorch
La bibliothèque de parallélisme de données SageMaker distribué v2.2.0
Date : 4 mars 2024
Nouvelles fonctionnalités
-
Ajout du support pour la PyTorch version 2.2.0 avec CUDA v12.1.
Intégration dans les conteneurs Docker distribués par la bibliothèque de parallélisme des SageMaker modèles (SMP)
Cette version de la bibliothèque SMDDP est migrée vers. La bibliothèque de parallélisme des SageMaker modèles v2.2.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Pour les régions dans lesquelles les images SMP Docker sont disponibles, consultez. Régions AWS
Fichier binaire de cette version
Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
La bibliothèque de parallélisme de données SageMaker distribué v2.1.0
Date : 1er mars 2024
Nouvelles fonctionnalités
-
Ajout du support pour la PyTorch version 2.1.0 avec CUDA v12.1.
Corrections de bugs
-
Correction du problème de fuite de mémoire du processeur dansSMDDP v2.0.1.
Intégration dans les conteneurs SageMaker Framework
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Intégration dans les conteneurs Docker distribués par la bibliothèque de parallélisme des SageMaker modèles (SMP)
Cette version de la bibliothèque SMDDP est migrée vers. La bibliothèque de parallélisme des SageMaker modèles v2.1.0
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Pour les régions dans lesquelles les images SMP Docker sont disponibles, consultez. Régions AWS
Fichier binaire de cette version
Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
La bibliothèque de parallélisme de données SageMaker distribué v2.0.1
Date : 7 décembre 2023
Nouvelles fonctionnalités
-
Ajout d'une nouvelle implémentation SMDDP d'un fonctionnement
AllGathercollectif optimisé pour les ressources AWS informatiques et l'infrastructure réseau. Pour en savoir plus, veuillez consulter la section Opération collective SMDDP AllGather. -
L'opération
AllGathercollective SMDDP est compatible avec PyTorch FSDP et. DeepSpeed Pour en savoir plus, veuillez consulter la section Utilisez la bibliothèque SMDDP dans votre script d'entraînement PyTorch . -
Ajout du support pour la PyTorch version 2.0.1
Problèmes connus
-
Un problème de fuite de mémoire du processeur est dû à une augmentation progressive de la mémoire du processeur pendant l'entraînement avec SMDDP
AllReduceen mode DDP.
Intégration dans les conteneurs SageMaker Framework
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Fichier binaire de cette version
Vous pouvez télécharger ou installer la bibliothèque à l'aide de l'URL suivante.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Autres modifications
-
À partir de cette version, la documentation de la bibliothèque SMDDP est entièrement disponible dans ce guide du SageMaker développeur Amazon. Au profit du guide du développeur complet pour SMDDP v2 contenu dans le guide du SageMaker développeur Amazon, la documentation contenant la référence supplémentaire pour SMDDP v1.x
dans la documentation du SDK SageMaker Python n'est plus prise en charge. Si vous avez toujours besoin de la documentation SMP v1.x, consultez l'instantané suivant de la documentation dans la documentation du SDK SageMaker Python v2.212.0 .
