Surveiller la dérive de biais pour les modèles en production - Amazon SageMaker

Surveiller la dérive de biais pour les modèles en production

La surveillance du biais Amazon SageMaker Clarify aide les scientifiques des données et les ingénieurs ML à surveiller régulièrement les prédictions de biais. À mesure que le modèle est surveillé, les clients peuvent afficher des rapports et des graphiques exportables détaillant le biais dans SageMaker Studio, et configurer des alertes dans Amazon CloudWatch pour recevoir des notifications en cas de détection d'un biais dépassant un certain seuil. Un biais peut être introduit ou exacerbé dans les modèles ML déployés lorsque les données d'entraînement diffèrent des données vues par le modèle pendant le déploiement (c'est-à-dire les données actives). Ces types de changements dans la distribution des données actives peuvent être temporaires (dans le cas d'événements réels de courte durée, par exemple) ou permanents. Dans les deux cas, il peut être important de détecter ces changements. Par exemple, les sorties d'un modèle de prédiction des prix des maisons peuvent devenir biaisées si les taux hypothécaires utilisés pour entraîner le modèle ne correspondent pas aux taux hypothécaires réels du moment. Grâce aux fonctionnalités de détection de biais dans Model Monitor, lorsque SageMaker détecte un biais dépassant un certain seuil, il génère automatiquement des métriques qui peuvent s'afficher dans SageMaker Studio et via des alertes Amazon CloudWatch.

En général, la mesure du biais uniquement durant la seule phase d'entraînement et de déploiement peut ne pas suffire. Il est possible qu'une fois le modèle déployé, la distribution des données vue par le modèle déployé (c'est-à-dire les données actives) diffère de celle du jeu de données d'entraînement. Avec le temps, ce changement peut introduire un biais dans un modèle. Le changement dans la distribution des données actives peut être temporaire (dans le cas d'un événement de courte durée, la période des fêtes par exemple) ou permanent. Dans les deux cas, il peut être important de détecter ces changements et de prendre éventuellement des mesures pour réduire le biais.

Pour détecter ces modifications, SageMaker Clarify propose une fonctionnalité qui permet de surveiller en continu les métriques de biais d'un modèle déployé et de déclencher des alertes automatisées si les métriques dépassent un seuil. Considérons par exemple la métrique de biais DPPL. Spécifiez une plage autorisée de valeurs A = (amin​,amax​), par exemple un intervalle de (-0,1, 0,1), à laquelle DPPL doit appartenir pendant le déploiement. Tout écart par rapport à cette plage doit déclencher une alerte de biais détecté. SageMaker Clarify vous permet d'effectuer ces vérifications à intervalles réguliers.

Par exemple, vous pouvez définir la fréquence des vérifications sur 2 jours. SageMaker Clarify calculera alors la métrique DPPL sur les données collectées sur une fenêtre de 2 jours. Dans cet exemple, Dwin désigne les données traitées par le modèle sur la dernière fenêtre de 2 jours. Une alerte est émise si la valeur DPPL bwin​ calculée sur Dwin​ est extérieure à une plage autorisée A. Cette approche pour vérifier si bwin se situe en dehors de A peut être bruyante. Dwin​ peut comprendre très peu d'échantillons et ne pas représenter précisément la distribution des données actives. Le faible nombre d'échantillons signifie que la valeur d'estimation du biais bwin​ calculée sur Dwin​ peut ne pas être très robuste. En fait, l'observation de valeurs très élevées (ou très faibles) de bwin peut être le simple fruit du hasard. Pour s'assurer que les conclusions tirées des données observées Dwin sont significatives du point de vue statistique, SageMaker Clarify utilise des intervalles de confiance. Plus précisément, SageMaker Clarify utilise la méthode Normal Bootstrap Interval pour créer un intervalle C=(cmin,cmax) lui permettant de croire que la vraie valeur de biais calculée sur l'ensemble des données actives est contenue dans C avec une forte probabilité. Maintenant, si l'intervalle de confiance C chevauche la plage autorisée A, SageMaker Clarify l'interprète ainsi : « il est probable que la valeur de la métrique de biais de la distribution de données actives se situe dans la plage autorisée ». Si C et A sont disjoints, SageMaker Clarify est convaincu que la métrique de biais ne se trouve pas dans A et déclenche alors une alerte.

Exemples de blocs-notes Model Monitor

Dans l'exemple de bloc-notes suivant, Amazon SageMaker Clarify montre comment capturer des données d'inférence en temps réel, créer une référence par rapport à laquelle surveiller l'évolution du biais, et analyser les résultats :

Ce bloc-notes a été vérifié comme s'exécutant dans Amazon SageMaker Studio seulement. Pour obtenir des instructions sur la façon d'ouvrir un bloc-notes dans Amazon SageMaker Studio, veuillez consulter Créer ou ouvrir un bloc-notes Amazon SageMaker Studio. Si vous êtes invité à choisir un noyau, choisissez Python 3 (Data Science). Les rubriques suivantes contiennent les éléments principaux des deux dernières étapes, ainsi que des exemples de code tirés de l'exemple de bloc-notes.