Explicabilité du modèle - Amazon SageMaker

Explicabilité du modèle

Amazon SageMaker Clarify fournit des outils pour expliquer la façon dont les modèles de machine learning (ML) réalisent des prédictions. Ces outils peuvent aider les modélisateurs et développeurs ML, ainsi que d'autres parties prenantes internes, à comprendre globalement les caractéristiques du modèle avant le déploiement et à déboguer les prédictions fournies par un modèle après son déploiement. La transparence quant à la façon dont les modèles ML arrivent à leurs prédictions est également essentielle pour les consommateurs et les organismes de réglementation, qui doivent faire confiance aux prédictions de modèle afin d'accepter les décisions qui en découlent. SageMaker Clarify utilise une approche d'attribution de fonction indépendante du modèle, qui permet de comprendre pourquoi un modèle a fait une prédiction après l'entraînement et de fournir une explication par instance pendant l'inférence. L'approche comprend une mise en œuvre évolutive et efficace de SHAP, basée sur le concept d'une valeur de Shapley issue du domaine de la théorie des jeux coopératifs, qui affecte à chaque fonction une valeur d'importance pour une prédiction particulière.

Quelle est la fonction d'une explication dans le contexte du machine learning ? Une explication peut être considérée comme la réponse à une question Pourquoi ?, qui aide les humains à comprendre la cause d'une prédiction. Dans le contexte d'un modèle ML, vous pouvez vouloir répondre à des questions telles que :

  • « Pourquoi le modèle a-t-il prédit un résultat négatif, comme un refus de prêt pour un demandeur donné ? »

  • « Comment le modèle fait-il des prédictions ? »

  • « Pourquoi le modèle a-t-il fait une prédiction incorrecte ? »

  • « Quelles caractéristiques influent le plus sur le comportement du modèle ? »

Vous pouvez utiliser des explications pour l'audit et le respect des exigences réglementaires, renforcer la confiance dans le modèle et prendre en charge la prise de décisions humaines, ainsi que pour le débogage et l'amélioration des performances du modèle.

Le genre d'explication requis repose sur la nécessité de satisfaire les exigences de compréhension humaine de la nature et des résultats de l'inférence ML. Les recherches menées en philosophie et en sciences cognitives montrent que les gens recherchent des explications contrastives, ou des explications sur la raison pour laquelle un événement X s'est produit au lieu d'un autre événement Y qui ne s'est pas produit. Ici, X peut être un événement inattendu ou surprenant qui s'est produit et Y une attente basée sur leur modèle mental existant appelé base de référence. Vous noterez que, pour le même événement X, plusieurs personnes peuvent rechercher des explications différentes selon leur point de vue ou leur modèle mental Y. Dans le contexte de l'IA explicable, vous pouvez considérer X comme l'exemple expliqué et Y comme une base de référence choisie généralement pour représenter un exemple non informatif ou moyen dans le jeu de données. Parfois, la base de référence peut être implicite, comme une image dont tous les pixels ont la même couleur dans le cas des modèles ML pour les images.