Frameworks et Régions AWS pris en charge

Avant d'utiliser la bibliothèque de parallélisme de SageMaker modèles v2 (SMP v2), vérifiez les frameworks et les types d'instances pris en charge et déterminez s'il existe suffisamment de quotas dans votre AWS compte et. Région AWS

Note

Pour consulter les dernières mises à jour et notes de publication de la bibliothèque, voirNotes de mise à jour pour la bibliothèque de parallélisme des SageMaker modèles.

Frameworks pris en charge

SMP v2 prend en charge les frameworks d'apprentissage profond suivants et est disponible via des conteneurs SMP Docker et un canal SMP Conda. Lorsque vous utilisez les classes d'estimateur du framework dans le SDK SageMaker Python et que vous spécifiez la configuration de distribution pour utiliser SMP v2, les conteneurs SMP SageMaker Docker sont automatiquement sélectionnés. Pour utiliser SMP v2, nous vous recommandons de toujours mettre à jour le SDK SageMaker Python dans votre environnement de développement.

PyTorch versions prises en charge par la SageMaker bibliothèque de parallélisme des modèles

PyTorch version	SageMaker version de la bibliothèque de parallélisme des modèles	URI de l'image Docker SMP
v2.3.1	smdistributed-modelparallel==v2.4.0	658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121
v2.2.0	smdistributed-modelparallel==v2.3.0	658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
	smdistributed-modelparallel==v2.2.0	Indisponible. Utilisez l'image de SMP v2.3.0, qui est rétrocompatible.
v2.1.2	smdistributed-modelparallel==v2.1.0	658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
v2.0.1	smdistributed-modelparallel==v2.0.0	658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121

Canal SMP Conda

Le bucket S3 suivant est un canal Conda public hébergé par l'équipe du service SMP. Si vous souhaitez installer la bibliothèque SMP v2 dans un environnement tel que des SageMaker HyperPod clusters, utilisez ce canal Conda pour installer correctement la bibliothèque SMP.

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Pour plus d'informations sur les canaux Conda en général, consultez la section Canaux dans la documentation de Conda.

Note

Pour trouver les versions précédentes de la bibliothèque SMP v1.x et les DLC préemballés, consultez la documentation SMP Cadres pris en charge v1.

Utiliser SMP v2 avec des bibliothèques open source

La bibliothèque SMP v2 fonctionne avec d'autres bibliothèques open PyTorch source telles que PyTorch Lightning, Hugging Face Transformers et Hugging Face Accelerate, car SMP v2 est compatible avec les API FSDP. PyTorch Si vous avez d'autres questions sur l'utilisation de la bibliothèque SMP avec d'autres bibliothèques tierces, contactez l'équipe du service SMP à l'adresse. [e-mail]

Régions AWS

SMP v2 est disponible dans les versions suivantes Régions AWS. Si vous souhaitez utiliser les URI d'image SMP Docker ou le canal SMP Conda, consultez la liste suivante et choisissez l'URI Région AWS correspondant au vôtre, puis mettez à jour l'URI de l'image ou l'URL du canal en conséquence.

• ap-northeast-1

• ap-northeast-2

• ap-northeast-3

• ap-south-1

• ap-southeast-1

• ap-southeast-2

• ca-central-1

• eu-central-1

• eu-north-1

• eu-west-1

• eu-west-2

• eu-west-3

• sa-east-1

• us-east-1

• us-east-2

• us-west-1

• us-west-2

Types d’instance pris en charge

SMP v2 nécessite l'un des types d'instances ML suivants.

Type d’instance
ml.p4d.24xlarge
ml.p4de.24xlarge
ml.p5.48xlarge

Astuce

À partir de SMP v2.2.0, la prise en charge de la version PyTorch 2.2.0 et des versions ultérieures est disponible. Entraînement de précision mixte avec des FP8 instances P5 à l'aide de Transformer Engine

Pour les spécifications des types d'instances d'apprentissage SageMaker automatique en général, consultez la section Accelerated Computing de la page Types d'instances Amazon EC2. Pour plus d'informations sur la tarification des instances, consultez Amazon SageMaker Pricing.

Si vous avez rencontré un message d'erreur similaire au suivant, suivez les instructions de la section Demander une augmentation de quota dans le Guide de l'utilisateur du AWS Service Quotas.

ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling
    the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge
    for training job usage' is 0 Instances, with current utilization of 0 Instances
    and a request delta of 1 Instances.
    Please contact AWS support to request an increase for this limit.