Déploiement d'un modèle - Amazon SageMaker

Déploiement d'un modèle

Pour déployer un modèle Neo-compilé sur un point de terminaison HTTPS, vous devez configurer et créer le point de terminaison pour le modèle en utilisant les services d'hébergement Amazon SageMaker. Actuellement, les développeurs peuvent utiliser les API Amazon SageMaker pour déployer des modules sur des instances ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 et ml.inf1.

Concernant les instances Inf1, les modèles doivent être compilés spécifiquement pour les instances ml.inf1. Les modèles compilés pour d'autres types d'instance peuvent ne pas fonctionner avec les instances ml.inf1.

Concernant les accélérateurs Elastic Inference, les modèles doivent être compilés spécifiquement pour les périphériques ml_eia2. Pour obtenir des informations sur le déploiement de votre modèle compilé sur un accélérateur Elastic Inference, veuillez consulter Utilisation d'EI sur des points de terminaison hébergés Amazon SageMaker.

Lorsque vous déployez un modèle compilé, vous devez utiliser la même instance pour la cible que celle utilisée pour la compilation. Cela crée un point de terminaison SageMaker que vous pouvez utiliser pour effectuer des inférences. Vous pouvez déployer un modèle néo-compilé à l'aide de l'une des méthodes suivantes : Kit SDK Amazon SageMaker pour Python, Kit SDK for Python (Boto3), la AWS Command Line Interface et la console SageMaker https://console.aws.amazon.com/ SageMaker.

Note

Pour déployer un modèle à l'aide de la AWS CLI, la console ou Boto3, veuillez consulter Neo Inference Container Images (Images de conteneur d'inférence Neo) pour sélectionner l'URI d'image d'inférence pour votre conteneur principal.