Cadres et types d'instance pris en charge - Amazon SageMaker

Cadres et types d'instance pris en charge

Amazon SageMaker Neo prend en charge les cadres de deep learning les plus courants pour la compilation et le déploiement. Vous pouvez déployer votre modèle sur des instances cloud, des types d'instances AWS Inferentia ou des accélérateurs Amazon Elastic Inference.

La section suivante décrit les cadres pris en charge par SageMaker Neo et les instances cloud cible sur lesquelles vous pouvez compiler et déployer. Pour obtenir des informations sur le déploiement de votre modèle compilé sur une instance cloud ou Inferentia, veuillez consulter Deploy a Model with Cloud Instances (Déploiement d'un modèle avec des instances cloud). Pour obtenir des informations sur le déploiement de votre modèle compilé avec des accélérateurs Elastic Inference, veuillez consulter Utilisation d'EI sur des points de terminaison hébergés Amazon SageMaker.

Instances cloud

SageMaker Neo prend en charge les cadres de deep learning suivants pour les instances cloud CPU et GPU :

Infrastructure Version Framework Version de modèle Modèles Formats de modèle (packagés dans *.tar.gz) Boîtes à outils
MXNet 1.8.0 Prend en charge la version 1.8.0 ou antérieure classification d'images, détection d'objets, segmentation sémantique, estimation de pose, reconnaissance d'activités Un fichier de symboles (.json) et un fichier de paramètres (.params) GluonCV v0.8.0
ONNX 1.7.0 Prend en charge la version 1.7.0 ou antérieure Classification d'images, SVM Un fichier de modèle (.onnx)
Keras 2.2.4 Prend en charge la version 2.2.4 ou antérieure Classification d'images Un fichier de définition de modèle (.h5)
PyTorch 1.4, 1.5, 1.6 Prend en charge 1.4, 1.5 et 1.6 Classification d'images Un fichier de définition de modèle (.pt ou .pth) avec dtype d'entrée float32
TensorFlow 1.15.0 Prend en charge la version 1.15.0 ou antérieure Classification d'images

Pour les modèles enregistrés, Neo attend un fichier .pb ou .pbtxt, ainsi qu'un répertoire de variables contenant des variables

Pour les modèles figés, Neo attend uniquement un fichier .pb ou .pbtxt

XGBoost 1.3.3 Prend en charge la version 1.3.3 ou antérieure Arbres de décision Un fichier de modèles XGBoost (.model) dans lequel le nombre de nœuds d'une arborescence est inférieur à 2^31
Note

« Model Version » est la version du cadre utilisé pour entraîner et exporter le modèle.

Types d'instance

Vous pouvez déployer votre modèle compilé SageMaker sur l'une des instances cloud ci-dessous :

Instance Type de calcul

ml_c4

Standard

ml_c5

Standard

ml_m4

Standard

ml_m5

Standard

ml_p2

Calcul accéléré

ml_p3

Calcul accéléré

ml_g4dn

Calcul accéléré

Pour obtenir des informations sur le vCPU disponible, la mémoire et le prix à l'heure pour chaque type d'instance, veuillez consulter Amazon SageMaker Pricing (Tarification Amazon SageMaker).

Note

Lors de la compilation d'instances ml_* avec un cadre PyTorch, dans le champ Compiler options (Options de compilateur) de Output Configuration (Configuration de la sortie), fournissez le type de données correct (dtype) de l'entrée du modèle.

La valeur par défaut est définie sur "float32".

AWS Inferentia

SageMaker Neo prend en charge les cadres de deep learning suivants pour Inferentia :

Infrastructure Version Framework Version de modèle Modèles Formats de modèle (packagés dans *.tar.gz) Boîtes à outils
MXNet 1.5.1 Prend en charge la version 1.5.1 ou antérieure classification d'images, détection d'objets, segmentation sémantique, estimation de pose, reconnaissance d'activités Un fichier de symboles (.json) et un fichier de paramètres (.params) GluonCV v0.8.0
PyTorch 1.7.1 Prend en charge la version 1.7.1 ou antérieure Classification d'images Un fichier de définition de modèle (.pt ou .pth) avec dtype d'entrée float32
TensorFlow 1.15.0 Prend en charge la version 1.15.0 ou antérieure Classification d'images

Pour les modèles enregistrés, Neo attend un fichier .pb ou .pbtxt, ainsi qu'un répertoire de variables contenant des variables

Pour les modèles figés, Neo attend uniquement un fichier .pb ou .pbtxt

Note

« Model Version » est la version du cadre utilisé pour entraîner et exporter le modèle.

Vous pouvez déployer votre modèle SageMaker Neo-compilé sur des instances Amazon EC2 Inf1 basées sur AWS Inferentia. AWS Inferentia est la première puce de silicium personnalisée d'Amazon conçue pour accélérer le deep learning. Actuellement, vous pouvez utiliser l'instance ml_inf1 pour déployer vos modèles compilés.

Amazon Elastic Inference

SageMaker Neo prend en charge les cadres de deep learning suivants pour Elastic Inference :

Infrastructure Version Framework Version de modèle Modèles Formats de modèle (packagés dans *.tar.gz)
TensorFlow 2.3.2 Prend en charge 2.3 classification d'images, détection d'objets, segmentation sémantique, estimation de pose, reconnaissance d'activités

Pour les modèles enregistrés, Neo attend un fichier .pb ou .pbtxt, ainsi qu'un répertoire de variables contenant des variables.

Pour les modèles figés, Neo attend uniquement un fichier .pb ou .pbtxt.

Vous pouvez déployer votre modèle SageMaker Neo-compilé sur un accélérateur Elastic Inference. Pour de plus amples informations, veuillez consulter . Utilisation d'EI sur des points de terminaison hébergés Amazon SageMaker.