Surveillance de la qualité du modèle - Amazon SageMaker

Surveillance de la qualité du modèle

Les tâches de surveillance de la qualité du modèle contrôlent les performances d'un modèle en comparant les prédictions réalisées par le modèle aux étiquettes réelles Ground Truth que le modèle tente de prédire. Pour ce faire, la surveillance de la qualité du modèle fusionne les données capturées à partir de l'inférence en temps réel avec les étiquettes réelles que vous stockez dans un compartiment Amazon S3, puis compare les prédictions aux étiquettes réelles.

Pour mesurer la qualité du modèle, Model Monitor utilise des métriques qui dépendent du type de problème ML. Par exemple, s'il s'agit d'un problème de régression, l'une des métriques évaluées est l'erreur quadratique moyenne (mse). Pour de plus amples informations sur les métriques utilisées pour les différents types de problèmes ML, veuillez consulter Métriques de qualité du modèle.

La surveillance de la qualité des modèles suit les mêmes étapes que la surveillance de la qualité des données, mais ajoute une étape consistant à fusionner les étiquettes réelles Amazon S3 avec les prédictions capturées à partir du point de terminaison d'inférence en temps réel. Pour contrôler la qualité du modèle, procédez comme suit :

  • Activez la capture de données. Les entrées et sorties d'inférence sont capturées en temps réel à partir d'un point de terminaison d'inférence et les données sont stockées dans Amazon S3. Pour de plus amples informations, veuillez consulter . Capture des données.

  • Créez une tâche de référence. Dans cette étape, vous exécutez une tâche de référence qui compare les prédictions du modèle aux étiquettes Ground Truth d'un jeu de données de référence. La tâche de référence crée automatiquement des règles et des contraintes statistiques de référence qui définissent les seuils par rapport auxquels les performances du modèle sont évaluées. Pour de plus amples informations, veuillez consulter . Créer une tâche de référence de qualité des modèles.

  • Définissez et planifiez des tâches de surveillance de la qualité du modèle. Pour de plus amples informations, veuillez consulter . Planifier des tâches de surveillance de la qualité du modèle.

  • Ingérez les étiquettes Ground Truth que Model Monitor fusionne avec les données de prédiction capturées à partir d'un point de terminaison d'inférence. Pour de plus amples informations, veuillez consulter . Intégrer des étiquettes Ground Truth et les fusionner avec des prédictions.

  • Intégrez la surveillance de la qualité des modèles avec Amazon CloudWatch. Pour de plus amples informations, veuillez consulter . Métriques CloudWatch de qualité du modèle.

  • Interprétez les résultats d'une tâche de surveillance. Pour de plus amples informations, veuillez consulter . Interprétation des résultats.

  • Utilisez SageMaker Studio pour activer la surveillance de la qualité des modèles et afficher les résultats. Pour de plus amples informations, veuillez consulter . Visualiser les résultats dans Amazon SageMaker Studio.