Déploiement d'un modèle compilé à l'aide de la console - Amazon SageMaker

Déploiement d'un modèle compilé à l'aide de la console

Vous devez satisfaire les prérequis si le modèle a été compilé à l'aide du AWS SDK for Python (Boto3), de la AWS CLI ou de la console Amazon SageMaker. Procédez comme suit pour créer et déployer un modèle SageMaker Neo-compilé à l'aide de la console SageMaker https://console.aws.amazon.com/ SageMaker.

Déploiement du modèle

Une fois les prérequis satisfaits, procédez comme suit pour déployer un modèle compilé avec Neo :

  1. Choisissez Modèles, puis Créer des modèles depuis le groupe Déduction. Sur la page Create model (Créer un modèle), renseignez les champs Model name (Nom du modèle), IAM role (Rôle IAM) et VPC, si nécessaire.

    
                            Création d'un modèle Neo pour l'inférence
  2. Pour ajouter des informations sur le conteneur utilisé pour déployer votre modèle, choisissez Add container (Ajouter un conteneur), puis Next (Suivant). Renseignez les champs Container input options (Options d'entrée du conteneur), Location of inference code image (Emplacement de l'image du code d'inférence), Location of model artifacts (Emplacement des artefacts du modèle), ainsi que Container host name (Nom d'hôte du conteneur) et Environmental variables (Variables d'environnement) éventuellement.

    
                            Création d'un modèle Neo pour l'inférence
  3. Pour déployer des modèles compilés par Neo, choisissez l'une des options suivantes :

    • Container input options (Options d'entrée du conteneur) : fournissez des artefacts du modèle et une image d'inférence.

    • Location of inference code image (Emplacement de l'image du code d'inférence) : choisissez l'URI de l'image d'inférence dans Neo Inference Container Images (Images du conteneur d'inférence Neo) en fonction de la région AWS et du type d'application.

    • Location of model artifacts (Emplacement des artefacts du modèle) : saisissez l'URI du compartiment Amazon S3 de l'artefact du modèle compilé généré par l'API de compilation Neo.

    • Variables d'environnement :

      • Laissez ce champ vide pour SageMaker XGBoost.

      • Si vous avez entraîné votre modèle à l'aide de SageMaker, spécifiez la variable d'environnement SAGEMAKER_SUBMIT_DIRECTORY en tant qu'URI du compartiment Amazon S3 contenant le script d'entraînement.

      • Si vous n'avez pas entraîné votre modèle à l'aide de SageMaker, spécifiez les variables d'environnement suivantes :

        Clé Valeurs pour MxNet et PyTorch Valeurs TensorFlow
        SAGEMAKER_PROGRAM inference.py inference.py
        SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/model/code /opt/ml/model/code
        SAGEMAKER_CONTAINER_LOG_LEVEL 20 20
        SAGEMAKER_REGION <your region> <your region>
        MMS_DEFAULT_RESPONSE_TIMEOUT 500 Laissez ce champ vide pour TF
  4. Confirmez l'exactitude des informations des conteneurs, puis choisissez Create model (Créer un modèle). Sur la Create model landing page (page d'accueil Créer un modèle), choisissez Create endpoint (Créer un point de terminaison).

    
                            Page d'accueil Créer un modèle
  5. Sur le schéma, Créer et configurer un point de terminaison, spécifiez le Nom du point de terminaison. Pour Attach endpoint configuration (Attacher une configuration de point de terminaison) choisissez Create a new endpoint configuration (Créer une nouvelle configuration de point de terminaison).

    
                            Interface utilisateur Créer et configurer un point de terminaison de la console Neo.
  6. Sur la page Nouvelle configuration du point de terminaison, spécifiez le Nom de configuration du point de terminaison.

    
                            Interface utilisateur Nouvelle configuration de point de terminaison de la console Neo.
  7. Choisissez Edit (Modifier) en regard du nom du modèle et spécifiez le Type d'instance correct sur la page Edit Production Variant (Modifier la variante de production). Il est impératif que la valeur Type d'instance corresponde à celle spécifiée dans votre tâche de compilation.

    
                            Interface utilisateur Nouvelle configuration de point de terminaison de la console Neo.
  8. Choisissez Enregistrer.

  9. Sur la page New endpoint configuration (Nouvelle configuration de point de terminaison), choisissez Create endpoint configuration (Créer une configuration de point de terminaison), puis choisissez Create endpoint (Créer un point de terminaison).