Amazon SageMaker Inference Recommender

Amazon SageMaker Inference Recommender est une fonctionnalité d'Amazon SageMaker qui réduit le temps nécessaire à la mise en production de modèles d'apprentissage automatique (ML) en automatisant les tests de charge et le réglage des modèles sur SageMaker les instances de machine learning. Vous pouvez utiliser Inference Recommender pour déployer votre modèle sur un point de terminaison d'inférence en temps réel ou sans serveur qui offre les meilleures performances au moindre coût. Inference Recommender vous aide à sélectionner le meilleur type d'instance et la meilleure configuration (comme le nombre d'instances, les paramètres de conteneur et les optimisations de modèle) ou la configuration sans serveur (telle que la simultanéité maximale et la taille de mémoire) pour vos modèles et charges de travail de machine learning.

Amazon SageMaker Inference Recommender ne vous facture que les instances utilisées pendant l'exécution de vos tâches.

Fonctionnement

Pour utiliser Amazon SageMaker Inference Recommender, vous pouvez créer un SageMaker modèle ou enregistrer un modèle dans le registre des modèles avec les SageMaker artefacts de votre modèle. Utilisez la console AWS SDK for Python (Boto3) ou la SageMaker console pour exécuter des tâches d'analyse comparative pour différentes configurations de point de SageMaker terminaison. Les tâches Inference Recommender vous aident à collecter et à visualiser des métriques de performance et d'utilisation des ressources afin de vous aider à choisir le type de point de terminaison et la configuration à choisir.

Comment démarrer

Si vous utilisez Amazon SageMaker Inference Recommender pour la première fois, nous vous recommandons de procéder comme suit :

1. Lisez Prérequis cette section pour vous assurer que vous remplissez les conditions requises pour utiliser Amazon SageMaker Inference Recommender.

2. Lisez la section Tâches de recommandations pour lancer vos premières tâches de recommandation Inference Recommender.

3. Découvrez l'exemple d'introduction du bloc-notes Jupyter d'Amazon SageMaker Inference Recommender, ou consultez les exemples de blocs-notes dans la section suivante.

Exemples de blocs-notes

Les exemples de blocs-notes Jupyter suivants peuvent vous aider à gérer les flux de travail pour plusieurs cas d'utilisation dans Inference Recommender :

• Si vous recherchez un bloc-notes d'introduction qui compare un TensorFlow modèle, consultez le bloc-notes SageMaker Inference Recommender TensorFlow.

• Si vous souhaitez comparer un HuggingFace modèle, consultez l'SageMaker Inference Recommender pour HuggingFace ordinateur portable.

• Si vous souhaitez comparer un modèle XGBoost, consultez le bloc-notes SageMaker Inference Recommender XGBoost.

• Si vous souhaitez consulter les CloudWatch métriques de vos tâches Inference Recommender, consultez le bloc-notes des métriques SageMaker Inference CloudWatch Recommender.