Déploiement d'un modèle

Pour déployer un modèle SageMaker compilé par Amazon Neo sur un HTTPS point de terminaison, vous devez configurer et créer le point de terminaison pour le modèle à l'aide des services SageMaker d'hébergement Amazon. Actuellement, les développeurs peuvent utiliser Amazon SageMaker APIs pour déployer des modules sur des instances ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 et ml.inf1.

Pour les instances Inferentia et Trainium, les modèles doivent être compilés spécifiquement pour ces instances. Les modèles compilés pour d'autres types d'instance peuvent ne pas fonctionner avec les instances Inferentia ou Trainium.

Lorsque vous déployez un modèle compilé, vous devez utiliser la même instance pour la cible que celle utilisée pour la compilation. Cela crée un SageMaker point de terminaison que vous pouvez utiliser pour effectuer des inférences. Vous pouvez déployer un modèle compilé au format NEO en utilisant l'un des outils suivants : Amazon SageMaker SDK pour Python, SDKpour Python (Boto3) et la AWS Command Line Interfaceconsole. SageMaker

Note

Pour déployer un modèle à l'aide AWS CLI de la console ou de Boto3, consultez Neo Inference Container Images pour sélectionner l'image d'inférence URI pour votre conteneur principal.

Rubriques

• Prérequis
• Déployez un modèle compilé à l'aide de SageMaker SDK
• Déploiement d'un modèle compilé à l'aide de Boto3
• Déployez un modèle compilé à l'aide du AWS CLI
• Déploiement d'un modèle compilé à l'aide de la console