En quoi consistent l'équité et l'explicabilité des modèles dans les prédictions de machine learning ? - Amazon SageMaker

En quoi consistent l'équité et l'explicabilité des modèles dans les prédictions de machine learning ?

Amazon SageMaker Clarify vous aide à améliorer vos modèles de machine learning (ML) via la détection de biais potentiel et l'explication des prédictions réalisées par les modèles. Il vous permet d'identifier les différents types de biais susceptibles d'affecter les données de pré- et post-entraînement, pendant l'entraînement du modèle ou lorsque le modèle est en production. SageMaker vous explique comment les modèles réalisent des prédictions à l'aide d'une approche d'attribution de fonctions. Il surveille également les inférences produites par les modèles en production, afin de détecter le biais ou la dérive dans l'attribution de fonctions. La fonctionnalité d'équité et d'explicabilité de SageMaker Clarify fournit des composants qui aident les clients AWS à créer des modèles de machine learning moins biaisés et plus compréhensibles. Elle fournit également les outils nécessaires pour générer des rapports de gouvernance de modèles destinés aux équipes responsables des risques et de la conformité, et aux organismes de réglementation externes.

L'utilisation croissante de modèles de machine learning et de systèmes orientés données facilite la prise de décisions dans des domaines tels que les services financiers, les soins de santé, l'éducation et les ressources humaines. Les applications de machine learning offrent des avantages tels qu'une précision et une productivité accrues, ainsi que des économies de coûts, afin de répondre aux exigences réglementaires, améliorer les décisions commerciales et fournir de meilleures informations sur les procédures de science des données.

  • Réglementation : dans bien des cas, il est important de comprendre pourquoi un modèle ML a réalisé telle prédiction, et si cette prédiction a été influencée par un biais quelconque, lors de l'entraînement ou l'inférence. Récemment, les décideurs, les organismes de réglementation et les défenseurs des droits ont soulevé les défis éthiques et stratégies posés par le ML et les systèmes orientés données. En particulier, ils ont exprimé leurs inquiétudes quant à l'impact potentiellement discriminatoire de tels systèmes (par exemple, le codage accidentel de biais dans des décisions automatisées).

  • Entreprise : l'adoption de systèmes d'IA dans des domaines réglementés exige la confiance, qui peut reposer sur des explications fiables du comportement des modèles formés et la façon dont les modèles déployés réalisent des prédictions. L'explicabilité des modèles peut être particulièrement importante pour les industries où priment fiabilité, sécurité et conformité, comme les services financiers, les ressources humaines, les soins de santé et le transport automatisé. Pour prendre un exemple financier standard, les applications de prêt intégrant l'utilisation de modèles ML devront peut-être fournir des explications sur la façon dont ces modèles ont réalisé certaines prédictions aux équipes internes d'agents de prêts, de représentants du service à la clientèle et de prévisionnistes, en plus des utilisateurs finaux/clients.

  • Science des données : les scientifiques des données et les ingénieurs ML ont besoin d'outils pour générer les informations nécessaires au débogage et à l'amélioration des modèles ML grâce à une meilleure ingénierie des fonctionnalités. Cela leur permet de déterminer si les inférences d'un modèle sont basées sur des fonctions bruyantes ou non pertinentes, et de comprendre les limites de leurs modèles, ainsi que les modes de défaillance qu'ils peuvent rencontrer.

Un blog montre comment concevoir et créer un cas d'utilisation de machine learning complet impliquant des réclamations frauduleuses d'automobilistes, qui intègre SageMaker Clarify dans un pipeline SageMaker. Voici le titre de sa démo : Architect and build the full machine learning lifecycle with AWS: An end-to-end Amazon SageMaker (Conception et création du cycle de vie complet de machine learning avec AWS : un Amazon SageMaker de bout en bout). Ce blog explique comment évaluer le biais pré- et post-entraînement, comment l'atténuer, et comment les fonctions de données influent sur la prédiction. Il contient des liens vers le code correspondant à chaque tâche du cycle de vie ML, notamment la création d'un flux automatisé qui intègre la fonctionnalité d'équité et d'explicabilité de SageMaker Clarify dans un pipeline SageMaker.

Bonnes pratiques d'évaluation de l'équité et de l'explicabilité dans le cycle de vie ML

L'équité en tant que processus : les notions de biais et d'équité dépendent en grande partie de l'application. De plus, le choix des attributs qui serviront à mesurer le biais et le choix des métriques de biais peuvent devoir être guidés par des considérations sociales, juridiques et d'autres considérations non techniques. La création d'un consensus et la collaboration entre les principales parties prenantes (tels que les équipes de produits, de stratégies, de services juridiques, d'ingénierie et d'AI/ML, ainsi que les utilisateurs finaux et les communautés) sont un préalable à l'adoption réussie d'approches de ML respectueuses de l'équité dans la pratique.

Équité et explicabilité au niveau conception dans le cycle de vie ML : vous devez intégrer les notions d'équité et d'explicabilité à chaque étape du cycle de vie ML : formation du problème, création du jeu de données, sélection de l'algorithme, processus d'entraînement du modèle, processus de test, déploiement et surveillance/rétroaction. Il est indispensable de disposer des bons outils pour réaliser cette analyse. Pour favoriser la prise en compte de ces considérations, voici quelques exemples de questions que nous vous recommandons de poser à chacune de ces étapes.


                Bonnes pratiques pour le processus d'évaluation de l'équité et de l'explicabilité des modèles

Exemples de blocs-notes

Amazon SageMaker Clarify fournit les exemples de blocs-notes suivants :

Ces bloc-notes ont été vérifiés comme s'exécutant dans Amazon SageMaker Studio seulement. Pour obtenir des instructions sur l'ouverture d'un bloc-notes dans Amazon SageMaker Studio, veuillez consulter Créer ou ouvrir un bloc-notes Amazon SageMaker Studio. Si vous êtes invité à choisir un noyau, choisissez Python 3 (Science des données).

Guide de la documentation SageMaker Clarify

Un biais peut se produire et être mesuré dans les données à chaque étape du cycle de vie de machine learning : avant et après l'entraînement du modèle. SageMaker Clarify peut fournir des explications sur l'attribution de fonctions des prédictions de modèles pour les modèles entraînés et ceux déployés en production, et détecter toute dérive par rapport à leurs attributions explicatives de référence. Clarify calcule les références au besoin. La documentation de SageMaker Clarify est intégrée dans la documentation globale SageMaker, aux étapes ML pertinentes, de la façon suivante :