Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Les tâches de surveillance de la qualité des modèles contrôlent les performances d'un modèle en comparant les prédictions réalisées par le modèle aux étiquettes réelles Ground Truth que le modèle tente de prédire. Pour ce faire, la surveillance de la qualité des modèles fusionne les données capturées à partir de l'inférence en temps réel ou par lots avec les étiquettes réelles que vous stockez dans un compartiment Amazon S3, puis compare les prédictions aux étiquettes réelles.
Pour mesurer la qualité du modèle, Model Monitor utilise des métriques qui dépendent du type de problème ML. Par exemple, s'il s'agit d'un problème de régression, l'une des métriques évaluées est l'erreur quadratique moyenne (mse). Pour de plus amples informations sur les métriques utilisées pour les différents types de problèmes ML, veuillez consulter Indicateurs de qualité des modèles et CloudWatch surveillance d'Amazon.
La surveillance de la qualité des modèles suit les mêmes étapes que la surveillance de la qualité des données, mais ajoute une étape consistant à fusionner les étiquettes réelles Amazon S3 avec les prédictions capturées à partir du point de terminaison d'inférence en temps réel ou de la tâche de transformation par lots. Pour contrôler la qualité du modèle, procédez comme suit :
-
Activez la capture de données. Les entrées et sorties d'inférence sont capturées à partir d'un point de terminaison d'inférence en temps réel ou d'une tâche de transformation par lots et les données sont stockées dans Amazon S3. Pour de plus amples informations, veuillez consulter Capture de données.
-
Créez une tâche de référence. Dans cette étape, vous exécutez une tâche de référence qui compare les prédictions du modèle aux étiquettes Ground Truth d'un jeu de données de référence. La tâche de référence crée automatiquement des règles et des contraintes statistiques de référence qui définissent les seuils par rapport auxquels les performances du modèle sont évaluées. Pour de plus amples informations, veuillez consulter Création d'une référence de qualité du modèle.
-
Définissez et planifiez des tâches de surveillance de la qualité du modèle. Pour obtenir des informations spécifiques et des exemples de code relatifs aux tâches de surveillance de la qualité des modèles, consultezPlanifier les tâches de surveillance de la qualité des modèles. Pour des informations générales sur les tâches de surveillance, consultez Planification des tâches de surveillance.
-
Ingérez les étiquettes Ground Truth que Model Monitor fusionne avec les données de prédiction capturées à partir d'un point de terminaison d'inférence en temps réel ou d'une tâche de transformation par lots. Pour de plus amples informations, veuillez consulter Ingérez les labels Ground Truth et fusionnez-les avec des prédictions.
-
Intégrez le suivi de la qualité des modèles à Amazon CloudWatch. Pour de plus amples informations, veuillez consulter Surveillance des indicateurs de qualité des modèles avec CloudWatch.
-
Interprétez les résultats d'une tâche de surveillance. Pour de plus amples informations, veuillez consulter Interprétation des résultats.
-
Utilisez SageMaker Studio pour contrôler la qualité des modèles et visualiser les résultats. Pour de plus amples informations, veuillez consulter Visualisez les résultats pour les points de terminaison en temps réel dans Amazon Studio SageMaker .
Rubriques
