Surveillance de la qualité des données et des modèles

Amazon SageMaker Model Monitor surveille la qualité des modèles d'apprentissage SageMaker automatique Amazon en production. Vous pouvez configurer une surveillance continue avec un point de terminaison en temps réel (ou une tâche de transformation par lots exécutée régulièrement), ou une surveillance planifiée pour les tâches de transformation par lots asynchrones. Avec Model Monitor, vous pouvez définir des alertes d'avertissement en cas d'écarts dans la qualité du modèle. La détection précoce et proactive de ces écarts permet de prendre des mesures correctives, comme le ré-entraînement des modèles, l'audit des systèmes en amont ou la résolution des problèmes de qualité des données sans devoir contrôler les modèles manuellement ou créer des outils supplémentaires. Vous pouvez utiliser des fonctionnalités de surveillance préconçues de Model Monitor qui ne nécessitent pas de codage. Vous avez également la possibilité de contrôler les modèles par codage afin de fournir une analyse personnalisée.

Model Monitor fournit les types de surveillance suivants :

• Contrôler la qualité des données - Surveillance d'écarts dans la qualité des données.

• Surveillance de la qualité du modèle - Surveillance d'écarts dans les métriques de qualité du modèle, la précision par exemple.

• contrôler la dérive de biais pour les modèles en production - Surveillance du biais dans les prédictions de votre modèle.

• Surveillance de la dérive d'attribution de caractéristiques pour les modèles en production - Surveillance des écarts dans l'attribution de fonctions.

Rubriques

• Surveillance d'un modèle en production
• Fonctionnement de Model Monitor
• Capture des données
• Contrôler la qualité des données
• Surveillance de la qualité du modèle
• contrôler la dérive de biais pour les modèles en production
• Surveillance de la dérive d'attribution de caractéristiques pour les modèles en production
• Planification des tâches de surveillance
• Conteneur préfabriqué Amazon SageMaker Model Monitor
• Interprétation des résultats
• Visualisez les résultats pour les points de terminaison en temps réel dans Amazon Studio SageMaker
• Rubriques avancées
• Questions fréquentes sur Model Monitor

Fonctionnement de Model Monitor

Amazon SageMaker Model Monitor surveille automatiquement les modèles d'apprentissage automatique (ML) en production et vous avertit en cas de problème de qualité. Model Monitor utilise des règles pour détecter les écarts dans vos modèles et vous en avertit le cas échéant. La figure suivante montre comment ce processus fonctionne dans le cas où votre modèle est déployé sur un point de terminaison en temps réel.

Vous pouvez également utiliser Model Monitor pour surveiller une tâche de transformation par lots plutôt qu'un point de terminaison en temps réel. Dans ce cas, au lieu de recevoir des demandes vers un point de terminaison et de suivre les prévisions, Model Monitor surveillera les entrées et les sorties d'inférence. La figure suivante illustre le processus de surveillance d'une tâche de transformation par lots.

Pour activer la surveillance du modèle, exécutez les étapes ci-après, qui suivent le cheminement des données à travers les différents processus de collecte, surveillance et analyse des données :

• Pour un point de terminaison en temps réel, activez le point de terminaison pour qu'il capture les données issues des requêtes entrantes dans un modèle ML entraîné et les prédictions de modèle résultantes.

• Pour une tâche de transformation par lots, activez la capture des données des entrées et des sorties de transformation par lots.

• Créez une référence à partir du jeu de données utilisé pour entraîner le modèle. La référence calcule les métriques et suggère des contraintes pour les métriques. Les prédictions en temps réel ou par lots réalisées à partir de votre modèle sont comparées aux contraintes et sont signalées comme des violations si elles s'en éloignent.

• Créez un programme de surveillance spécifiant les données à collecter, la fréquence de collecte, la méthode d'analyse et les rapports à produire.

• Consultez les rapports, qui comparent les données les plus récentes avec les données de référence, et surveillez les violations signalées ainsi que les métriques et les notifications d'Amazon CloudWatch.

Remarques

• Model Monitor calcule les mesures et les statistiques du modèle uniquement sur des données tabulaires. Par exemple, un modèle de classification d'images qui prend des images en tant qu'entrée et génère une étiquette basée sur ces images en sortie peut toujours être surveillé. Model Monitor serait capable de calculer des mesures et des statistiques pour la sortie, et non pour l'entrée.

• Model Monitor prend actuellement en charge uniquement les points de terminaison qui hébergent un seul modèle, pas les points de terminaison multimodèle. Pour de plus amples informations sur l'utilisation des points de terminaison multimodèles, veuillez consulter Hébergez plusieurs modèles dans un conteneur derrière un point de terminaison.

• Model Monitor prend en charge la surveillance des pipelines d'inférence, mais la capture et l'analyse des données sont effectuées pour l'ensemble du pipeline, pas pour ses conteneurs individuels.

• Pour éviter tout impact sur les requêtes d'inférence, Data Capture cesse de capturer les requêtes à des niveaux élevés d'utilisation du disque. Nous vous recommandons de maintenir l'utilisation du disque en dessous de 75 % pour que la capture des données continue de capturer les requêtes.

• Si vous lancez SageMaker Studio dans un Amazon VPC personnalisé, vous devez créer des points de terminaison VPC pour permettre à Model Monitor de communiquer avec Amazon S3 et. CloudWatch Pour de plus amples informations sur les points de terminaison d'un VPC, veuillez consulter Points de terminaison d'un VPC dans le Guide de l'utilisateur Amazon Virtual Private Cloud. Pour plus d'informations sur le lancement de SageMaker Studio dans un VPC personnalisé, consultez. Connectez les blocs-notes SageMaker Studio Classic d'un VPC à des ressources externes

Exemples de blocs-notes de surveillance des modèles

Pour un exemple de bloc-notes qui décrit l'ensemble du end-to-end flux de travail utilisant Model Monitor avec votre point de terminaison en temps réel, consultez Introduction à Amazon SageMaker Model Monitor.

Pour obtenir un exemple de bloc-notes qui visualise le fichier statistics.json correspondant à une exécution sélectionnée dans un programme de surveillance, veuillez consulter Model Monitor Visualization.

Pour obtenir des instructions expliquant comment créer et accéder à des instances de bloc-notes Jupyter que vous pouvez utiliser pour exécuter l'exemple SageMaker, consultez. Instances Amazon SageMaker Notebook Après avoir créé une instance de bloc-notes et l'avoir ouverte, cliquez sur l'onglet SageMaker Exemples pour afficher la liste de tous les SageMaker exemples. Pour ouvrir un bloc-notes, choisissez l'onglet de bloc-notes Use (Utiliser), puis Create copy (Créer une copie).