Déploiement d'un modèle

Pour déployer un modèle SageMaker compilé par Amazon Neo sur un point de terminaison HTTPS, vous devez configurer et créer le point de terminaison du modèle à l'aide des services d'hébergement Amazon SageMaker AI. Actuellement, les développeurs peuvent utiliser Amazon SageMaker APIs pour déployer des modules sur des instances ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 et ml.inf1.

Pour les instances Inferentia et Trainium, les modèles doivent être compilés spécifiquement pour ces instances. Les modèles compilés pour d'autres types d'instance peuvent ne pas fonctionner avec les instances Inferentia ou Trainium.

Lorsque vous déployez un modèle compilé, vous devez utiliser la même instance pour la cible que celle utilisée pour la compilation. Cela crée un point de terminaison d' SageMaker IA que vous pouvez utiliser pour effectuer des inférences. Vous pouvez déployer un modèle compilé Neo à l'aide de l'un des outils suivants : le SDK Amazon SageMaker AI pour Python, le SDK pour Python AWS Command Line Interface(Boto3) et la console AI. SageMaker

Note

Pour déployer un modèle à l'aide AWS CLI de la console ou de Boto3, consultez Neo Inference Container Images pour sélectionner l'URI de l'image d'inférence pour votre conteneur principal.

Rubriques

• Prérequis
• Déployer un modèle compilé à l'aide du SDK SageMaker AI
• Déploiement d'un modèle compilé à l'aide de Boto3
• Déployez un modèle compilé à l'aide du AWS CLI
• Déploiement d'un modèle compilé à l'aide de la console