Surveillez les modèles pour la qualité des données et des modèles, leur biais et leur explicabilité - Amazon SageMaker

Surveillez les modèles pour la qualité des données et des modèles, leur biais et leur explicabilité

Amazon SageMaker Model Monitor surveille en permanence la qualité des modèles de machine learning Amazon SageMaker en production. Avec Model Monitor, vous pouvez définir des alertes d'avertissement en cas d'écarts dans la qualité du modèle. La détection précoce et proactive de ces écarts permet de prendre des mesures correctives, comme le ré-entraînement des modèles, l'audit des systèmes en amont ou la résolution des problèmes de qualité des données sans devoir contrôler les modèles manuellement ou créer des outils supplémentaires. Vous pouvez utiliser des fonctionnalités de surveillance préconçues de Model Monitor qui ne nécessitent pas de codage. Vous avez également la possibilité de contrôler les modèles par codage afin de fournir une analyse personnalisée.

Model Monitor fournit les types de surveillance suivants :

Fonctionnement de Model Monitor

Amazon SageMaker Model Monitor surveille automatiquement les modèles de machine learning (ML) en production et vous avertit s'il détecte des problèmes de qualité des données. Model Monitor utilise des règles pour détecter les écarts dans vos modèles et vous en avertit le cas échéant. La figure suivante illustre le fonctionnement de ce processus.


                Processus de surveillance de modèles avec Amazon SageMaker Model Monitor.

Pour activer la surveillance du modèle, exécutez les étapes ci-après, qui suivent le cheminement des données à travers les différents processus de collecte, surveillance et analyse des données :

  • Activez le point de terminaison pour qu'il capture les données issues des requêtes entrantes dans un modèle ML entraîné et les prédictions de modèle résultantes.

  • Créez une référence à partir du jeu de données utilisé pour entraîner le modèle. La référence calcule les métriques et suggère des contraintes pour les métriques. Les prédictions en temps réel réalisées à partir de votre modèle sont comparées aux contraintes et sont signalées comme des violations si elles s'en éloignent.

  • Créez un programme de surveillance spécifiant les données à collecter, la fréquence de collecte, la méthode d'analyse et les rapports à produire.

  • Examinez les rapports, qui comparent les données les plus récentes à la référence, et recherchez les violations signalées ainsi que les métriques et notifications pour Amazon CloudWatch.

Remarques
  • Model Monitor ne prend actuellement en charge que les données tabulaires.

  • Model Monitor prend actuellement en charge uniquement les points de terminaison qui hébergent un seul modèle, pas les points de terminaison multimodèle. Pour de plus amples informations sur l'utilisation des points de terminaison multimodèles, veuillez consulter Hébergez plusieurs modèles dans un conteneur derrière un point de terminaison.

  • Model Monitor prend en charge la surveillance des pipelines d'inférence, mais la capture et l'analyse des données sont effectuées pour l'ensemble du pipeline, pas pour ses conteneurs individuels.

  • Pour éviter tout impact sur les requêtes d'inférence, Data Capture cesse de capturer les requêtes à des niveaux élevés d'utilisation du disque. Nous vous recommandons de maintenir l'utilisation du disque en dessous de 75 % pour que la capture des données continue de capturer les requêtes.

  • Si vous lancez SageMaker Studio dans un Amazon VPC personnalisé, vous devez créer des points de terminaison VPC pour permettre à Model Monitor de communiquer avec Amazon S3 et CloudWatch. Pour de plus amples informations sur les points de terminaison d'un VPC, veuillez consulter Points de terminaison d'un VPC dans le Guide de l'utilisateur Amazon Virtual Private Cloud. Pour de plus amples informations sur le lancement de SageMaker Studio dans un VPC personnalisé, veuillez consulter Connexion des blocs-notes SageMaker Studio dans un VPC à des ressources externes.

Exemples de blocs-notes de surveillance des modèles

Pour obtenir un exemple de bloc-notes détaillant le flux de bout en bout pour Model Monitor, veuillez consulter l'introduction à Amazon SageMaker Model Monitor.

Pour obtenir un exemple de bloc-notes qui visualise le fichier statistics.json correspondant à une exécution sélectionnée dans un programme de surveillance, veuillez consulter Model Monitor Visualization.

Pour obtenir des instructions sur la création et l'accès aux instances de bloc-notes Jupyter que vous pouvez utiliser pour exécuter l'exemple dans SageMaker, veuillez consulter Utilisation des instances de bloc-notes Amazon SageMaker. Après avoir créé et ouvert une instance de bloc-notes, choisissez l'onglet SageMaker Examples (Exemples SageMaker) pour afficher la liste de tous les exemples SageMaker. Pour ouvrir un bloc-notes, choisissez l'onglet de bloc-notes Use (Utiliser), puis Create copy (Créer une copie).