Surveillance de la qualité des données et des modèles avec Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor surveille la qualité des modèles d'apprentissage SageMaker automatique Amazon en production. Avec Model Monitor, vous pouvez configurer :

• Surveillance continue avec un point de terminaison en temps réel.

• Surveillance continue avec une tâche de transformation par lots exécutée régulièrement.

• Surveillance planifiée des tâches de transformation par lots asynchrones.

Avec Model Monitor, vous pouvez définir des alertes d'avertissement en cas d'écarts dans la qualité du modèle. La détection précoce et proactive de ces écarts vous permet de prendre des mesures correctives. Vous pouvez prendre des mesures telles que le recyclage des modèles, l'audit des systèmes en amont ou la résolution des problèmes de qualité sans avoir à surveiller les modèles manuellement ou à créer des outils supplémentaires. Vous pouvez utiliser des fonctionnalités de surveillance préconçues de Model Monitor qui ne nécessitent pas de codage. Vous avez également la possibilité de contrôler les modèles par codage afin de fournir une analyse personnalisée.

Model Monitor fournit les types de surveillance suivants :

• Qualité des données - Surveillance d'écarts dans la qualité des données.

• Qualité du modèle - Surveillance d'écarts dans les métriques de qualité du modèle, la précision par exemple.

• Dérive de biais pour les modèles en production - Surveillance du biais dans les prédictions de votre modèle.

• Dérive d'attribution des fonctionnalités pour les modèles en production - Surveillance des écarts dans l'attribution de fonctions.

Rubriques

• Surveillance d'un modèle en production
• Comment fonctionne Amazon SageMaker Model Monitor
• Capture de données
• Qualité des données
• Qualité du modèle
• Dérive de biais pour les modèles en production
• Dérive d'attribution des fonctionnalités pour les modèles en production
• Planification des tâches de surveillance
• Conteneur préfabriqué Amazon SageMaker Model Monitor
• Interprétation des résultats
• Visualisez les résultats pour les points de terminaison en temps réel dans Amazon Studio SageMaker
• Rubriques avancées
• Modèle de moniteur FAQs

Comment fonctionne Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor surveille automatiquement les modèles d'apprentissage automatique (ML) en production et vous avertit en cas de problème de qualité. Model Monitor utilise des règles pour détecter les écarts dans vos modèles et vous en avertit le cas échéant. La figure suivante montre comment ce processus fonctionne dans le cas où votre modèle est déployé sur un point de terminaison en temps réel.

Vous pouvez également utiliser Model Monitor pour surveiller une tâche de transformation par lots plutôt qu'un point de terminaison en temps réel. Dans ce cas, au lieu de recevoir des demandes adressées à un point de terminaison et de suivre les prédictions, Model Monitor surveille les entrées et les sorties d'inférence. La figure suivante illustre le processus de surveillance d'une tâche de transformation par lots.

Pour activer la surveillance des modèles, procédez comme suit. Ces étapes suivent le parcours des données à travers les différents processus de collecte, de surveillance et d'analyse des données.

• Pour un point de terminaison en temps réel, activez le point de terminaison pour qu'il capture les données issues des requêtes entrantes dans un modèle ML entraîné et les prédictions de modèle résultantes.

• Pour une tâche de transformation par lots, activez la capture des données des entrées et des sorties de transformation par lots.

• Créez une référence à partir du jeu de données utilisé pour entraîner le modèle. La référence calcule les métriques et suggère des contraintes pour les métriques. Les prévisions en temps réel ou par lots de votre modèle sont comparées aux contraintes. Elles sont signalées comme des violations si elles se situent en dehors des valeurs contraintes.

• Créez un programme de surveillance spécifiant les données à collecter, la fréquence de collecte, la méthode d'analyse et les rapports à produire.

• Examinez les rapports, qui comparent les données les plus récentes avec les données de référence. Surveillez les violations signalées, les statistiques et les notifications d'Amazon CloudWatch.

Remarques

• Model Monitor calcule les mesures et les statistiques du modèle uniquement sur des données tabulaires. Par exemple, un modèle de classification d'images qui prend des images en tant qu'entrée et génère une étiquette basée sur ces images en sortie peut toujours être surveillé. Model Monitor serait capable de calculer des mesures et des statistiques pour la sortie, et non pour l'entrée.

• Model Monitor prend actuellement en charge uniquement les points de terminaison qui hébergent un seul modèle, pas les points de terminaison multimodèle. Pour de plus amples informations sur l'utilisation des points de terminaison multimodèles, veuillez consulter Points de terminaison multi-modèles.

• Model Monitor prend en charge la surveillance des pipelines d'inférence. Cependant, la capture et l'analyse des données sont effectuées pour l'ensemble du pipeline, et non pour les conteneurs individuels du pipeline.

• Pour éviter tout impact sur les requêtes d'inférence, Data Capture cesse de capturer les requêtes à des niveaux élevés d'utilisation du disque. Nous vous recommandons de maintenir le taux d'utilisation du disque en dessous de 75 % afin de garantir que la capture des données continue de capturer les demandes.

• Si vous lancez SageMaker Studio dans un Amazon personnaliséVPC, vous devez créer des VPC points de terminaison pour permettre à Model Monitor de communiquer avec Amazon S3 et CloudWatch. Pour plus d'informations sur les VPC points de terminaison, consultez la section consacrée VPCaux points de terminaison dans le guide de l'utilisateur d'Amazon Virtual Private Cloud. Pour plus d'informations sur le lancement de SageMaker Studio dans une version personnaliséeVPC, consultezConnectez les blocs-notes Studio dans un VPC à des ressources externes.

Exemples de blocs-notes Model Monitor

Pour un exemple de bloc-notes qui vous explique le end-to-end flux de travail à l'aide de Model Monitor avec votre point de terminaison en temps réel, consultez Introduction à Amazon SageMaker Model Monitor.

Pour obtenir un exemple de bloc-notes qui visualise le fichier statistics.json correspondant à une exécution sélectionnée dans un programme de surveillance, veuillez consulter Model Monitor Visualization.

Pour obtenir des instructions sur la création et l'accès aux instances de bloc-notes Jupyter dans lesquelles vous pouvez exécuter l'exemple SageMaker, consultez. Instances Amazon SageMaker Notebook Après avoir créé une instance de bloc-notes et l'avoir ouverte, cliquez sur l'onglet SageMaker Exemples pour afficher la liste de tous les SageMaker exemples. Pour ouvrir un bloc-notes, choisissez l'onglet de bloc-notes Use (Utiliser), puis Create copy (Créer une copie).