Déploiement d'un modèle

Pour déployer un modèle Amazon SageMaker Neo-compilé sur un point de terminaison HTTPS, vous devez configurer et créer le point de terminaison pour le modèle en utilisant les services d'hébergement Amazon SageMaker. Actuellement, les développeurs peuvent utiliser les API Amazon SageMaker pour déployer des modules sur des instances ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 et ml.inf1.

Pour les instances Inferentia et Trainium, les modèles doivent être compilés spécifiquement pour ces instances. Les modèles compilés pour d'autres types d'instance peuvent ne pas fonctionner avec les instances Inferentia ou Trainium.

Concernant les accélérateurs Elastic Inference, les modèles doivent être compilés spécifiquement pour les périphériques ml_eia2. Pour obtenir des informations sur le déploiement de votre modèle compilé sur un accélérateur Elastic Inference, veuillez consulter Utiliser EI sur les points de terminaison SageMaker hébergés par Amazon.

Lorsque vous déployez un modèle compilé, vous devez utiliser la même instance pour la cible que celle utilisée pour la compilation. Cela crée un point de terminaison SageMaker que vous pouvez utiliser pour effectuer des inférences. Vous pouvez déployer un modèle néo-compilé à l'aide de l'une des méthodes suivantes : kit Amazon SageMaker SDK for Python, kit SDK pour Python (Boto3), l'AWS Command Line Interface et la console SageMaker.

Note

Pour déployer un modèle à l'aide de la AWS CLI, la console ou Boto3, veuillez consulter Neo Inference Container Images (Images de conteneur d'inférence Neo) pour sélectionner l'URI d'image d'inférence pour votre conteneur principal.

Rubriques

• Prérequis
• Déploiement d'un modèle compilé à l'aide du SDK SageMaker
• Déploiement d'un modèle compilé à l'aide de Boto3
• Déploiement d'un modèle compilé à l'aide de la AWS CLI
• Déploiement d'un modèle compilé à l'aide de la console