Cadres et types d'instance pris en charge

Amazon SageMaker Neo prend en charge les frameworks d'apprentissage profond les plus populaires pour la compilation et le déploiement. Vous pouvez déployer votre modèle sur des instances cloud, des types d'instances AWS Inferentia ou des accélérateurs Amazon Elastic Inference.

Ce qui suit décrit les frameworks SageMaker pris en charge par Neo et les instances cloud cibles sur lesquelles vous pouvez compiler et déployer. Pour obtenir des informations sur le déploiement de votre modèle compilé sur une instance cloud ou Inferentia, veuillez consulter Deploy a Model with Cloud Instances (Déploiement d'un modèle avec des instances cloud). Pour obtenir des informations sur le déploiement de votre modèle compilé avec des accélérateurs Elastic Inference, veuillez consulter Utiliser IE sur les points de terminaison SageMaker hébergés par Amazon.

Instances cloud

SageMakerNeo prend en charge les frameworks d'apprentissage profond suivants pour les instances cloud CPU et GPU :

Cadre	Version du cadre	Version de modèle	Modèles	Formats de modèle (packagés dans *.tar.gz)	Boîtes à outils
MXNet	1.8.0	Prend en charge la version 1.8.0 ou antérieure	classification d'images, détection d'objets, segmentation sémantique, estimation de pose, reconnaissance d'activités	Un fichier de symboles (.json) et un fichier de paramètres (.params)	GluonCV v0.8.0
ONNX	1.7.0	Prend en charge la version 1.7.0 ou antérieure	Classification d'images, SVM	Un fichier de modèle (.onnx)
Keras	2.2.4	Prend en charge la version 2.2.4 ou antérieure	Classification d'images	Un fichier de définition de modèle (.h5)
PyTorch	1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 ou 2.0	Supporte les versions 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 et 2.0	Classification d'images Les versions 1.13 et 2.0 prennent en charge la détection d'objets, le transformateur de vision et HuggingFace	Un fichier de définition de modèle (.pt ou .pth) avec dtype d'entrée float32
TensorFlow	1.15.3 ou 2.9	Prend en charge 1.15.3 et 2.9	Classification d'images	Pour les modèles enregistrés, Neo attend un fichier .pb ou .pbtxt, ainsi qu'un répertoire de variables contenant des variables Pour les modèles figés, Neo attend uniquement un fichier .pb ou .pbtxt
XGBoost	1.3.3	Prend en charge la version 1.3.3 ou antérieure	Arbres de décision	Un fichier de modèles XGBoost (.model) dans lequel le nombre de nœuds d'une arborescence est inférieur à 2^31

Note

« Model Version » est la version du cadre utilisé pour entraîner et exporter le modèle.

Types d'instances

Vous pouvez déployer votre modèle SageMaker compilé sur l'une des instances cloud répertoriées ci-dessous :

Instance	Type de calcul
ml_c4	Standard
ml_c5	Standard
ml_m4	Standard
ml_m5	Standard
ml_p2	Calcul accéléré
ml_p3	Calcul accéléré
ml_g4dn	Calcul accéléré

Pour plus d'informations sur le processeur virtuel disponible, la mémoire et le prix par heure pour chaque type d'instance, consultez la page de SageMakertarification d'Amazon.

Note

Lorsque vous compilez pour des ml_* instances à l'aide d'un PyTorch framework, utilisez le champ Options du compilateur dans la configuration de sortie pour fournir le type de données correct (dtype) de l'entrée du modèle.

La valeur par défaut est définie sur "float32".

AWS Inferentia

SageMakerNeo prend en charge les frameworks d'apprentissage profond suivants pour Inf1 :

Cadre	Version du cadre	Version de modèle	Modèles	Formats de modèle (packagés dans *.tar.gz)	Boîtes à outils
MXNet	1.5 ou 1.8	Prend en charge les versions 1.8, 1.5 et antérieures	classification d'images, détection d'objets, segmentation sémantique, estimation de pose, reconnaissance d'activités	Un fichier de symboles (.json) et un fichier de paramètres (.params)	GluonCV v0.8.0
PyTorch	1.7, 1.8 ou 1.9	Prend en charge les versions 1.9 et antérieures	Classification d'images	Un fichier de définition de modèle (.pt ou .pth) avec dtype d'entrée float32
TensorFlow	1.15 ou 2.5	Prend en charge les versions 2.5, 1.15 et antérieures	Classification d'images	Pour les modèles enregistrés, Neo attend un fichier .pb ou .pbtxt, ainsi qu'un répertoire de variables contenant des variables Pour les modèles figés, Neo attend uniquement un fichier .pb ou .pbtxt

Note

« Model Version » est la version du cadre utilisé pour entraîner et exporter le modèle.

Vous pouvez déployer votre modèle SageMaker néo-compilé sur des instances Amazon EC2 AWS Inf1 basées sur Inferentia. AWS Inferentia est la première puce de silicium personnalisée d'Amazon conçue pour accélérer le deep learning. Actuellement, vous pouvez utiliser l'instance ml_inf1 pour déployer vos modèles compilés.

AWSInferentia2 et Trainium AWS

Actuellement, vous pouvez déployer votre modèle NEO SageMaker compilé sur des instances Amazon EC2 AWS Inf2 basées sur InferentiA2 (dans la région USA Est (Ohio)) et sur des instances Amazon EC2 Trn1 AWS basées sur Trainium (dans la région USA Est (Virginie du Nord)). Pour plus d'informations sur les modèles pris en charge sur ces instances, consultez les directives d'ajustement de l'architecture des modèles dans la documentation de AWS Neuron et les exemples disponibles dans le référentiel Neuron Github.

Amazon Elastic Inference

SageMakerNeo prend en charge les frameworks d'apprentissage profond suivants pour Elastic Inference :

Cadre	Version du cadre	Version de modèle	Modèles	Formats de modèle (packagés dans *.tar.gz)
TensorFlow	2.3.2	Prend en charge 2.3	classification d'images, détection d'objets, segmentation sémantique, estimation de pose, reconnaissance d'activités	Pour les modèles enregistrés, Neo attend un fichier .pb ou .pbtxt, ainsi qu'un répertoire de variables contenant des variables. Pour les modèles figés, Neo attend uniquement un fichier .pb ou .pbtxt.

Vous pouvez déployer votre modèle SageMaker NEO compilé sur un Elastic Inference Accelerator. Pour plus d'informations, veuillez consulter Utiliser IE sur les points de terminaison SageMaker hébergés par Amazon.