Amazon SageMaker Inference Recommender

Amazon SageMaker Inference Recommender est une fonctionnalité d'Amazon. SageMaker Il réduit le temps nécessaire à la mise en production des modèles d'apprentissage automatique (ML) en automatisant les tests de charge et le réglage des modèles sur les instances de machine SageMaker learning. Vous pouvez utiliser Inference Recommender pour déployer votre modèle sur un point de terminaison d'inférence en temps réel ou sans serveur qui offre les meilleures performances au moindre coût. Inference Recommender vous aide à sélectionner le type d'instance et la configuration les mieux adaptés à vos modèles de machine learning et à vos charges de travail. Il prend en compte des facteurs tels que le nombre d'instances, les paramètres du conteneur, les optimisations du modèle, la simultanéité maximale et la taille de la mémoire.

Amazon SageMaker Inference Recommender ne vous facture que les instances utilisées pendant l'exécution de vos tâches.

Fonctionnement

Pour utiliser Amazon SageMaker Inference Recommender, vous pouvez créer un SageMaker modèle ou enregistrer un modèle dans le registre des modèles avec les SageMaker artefacts de votre modèle. Utilisez la console AWS SDK for Python (Boto3) ou la SageMaker console pour exécuter des tâches d'analyse comparative pour différentes configurations de SageMaker terminaux. Les tâches Inference Recommender vous aident à collecter et à visualiser des métriques de performance et d'utilisation des ressources afin de vous aider à choisir le type de point de terminaison et la configuration à choisir.

Comment démarrer

Si vous utilisez Amazon SageMaker Inference Recommender pour la première fois, nous vous recommandons de procéder comme suit :

1. Lisez Prérequis cette section pour vous assurer que vous remplissez les conditions requises pour utiliser Amazon SageMaker Inference Recommender.

2. Lisez la section Tâches de recommandations pour lancer vos premières tâches de recommandation Inference Recommender.

3. Découvrez l'exemple d'introduction du bloc-notes Jupyter d'Amazon SageMaker Inference Recommender, ou consultez les exemples de blocs-notes dans la section suivante.

Exemples de blocs-notes

Les exemples de blocs-notes Jupyter suivants peuvent vous aider à gérer les flux de travail pour plusieurs cas d'utilisation dans Inference Recommender :

• Si vous recherchez un bloc-notes d'introduction qui compare un TensorFlow modèle, consultez le bloc-notes SageMaker Inference Recommender TensorFlow.

• Si vous souhaitez comparer un HuggingFace modèle, consultez l'SageMaker Inference Recommender pour HuggingFace ordinateur portable.

• Si vous souhaitez comparer un XGBoost modèle, consultez le bloc-notes SageMaker Inference Recommender XGBoost.

• Si vous souhaitez consulter les CloudWatch métriques de vos tâches Inference Recommender, consultez le bloc-notes des métriques SageMaker Inference CloudWatch Recommender.