Générer des rapports de biais dans les données de pré-entraînement dans SageMaker Studio - Amazon SageMaker

Générer des rapports de biais dans les données de pré-entraînement dans SageMaker Studio

SageMaker Clarify est intégré à Amazon SageMaker Data Wrangler, qui peut vous aider à identifier les biais lors de la préparation des données sans devoir écrire votre propre code. Data Wrangler fournit une solution de bout en bout pour importer, préparer, transformer, caractériser et analyser des données avec Amazon SageMaker Studio. Pour de plus amples informations sur le flux de préparation des données Data Wrangler, veuillez consulter Préparer les données ML avec Amazon SageMaker Data Wrangler. Vous spécifiez des attributs présentant un intérêt, tels que le sexe ou l'âge, et SageMaker Clarify exécute un ensemble d'algorithmes pour détecter la présence de biais dans ces attributs. Une fois l'algorithme exécuté, SageMaker Clarify délivre un rapport visuel contenant une description des sources et de la sévérité du biais potentiel pour vous permettre de planifier des étapes d'atténuation. Par exemple, dans un jeu de données financières contenant peu d'exemples de prêts d'entreprise à un groupe d'âge par rapport à d'autres, SageMaker signale le déséquilibre afin d'éviter un modèle qui défavorise ce groupe d'âge.

Analyser et rapporter les biais de données

Pour démarrer avec Data Wrangler, veuillez consulter Démarrer avec Data Wrangler.

  1. Ouvrez Amazon SageMaker Studio et choisissez Create Data Flow (Créer un flux de données) dans la section Import and prepare your data (Importer et préparer vos données).

    
                        Créez un flux de données dans Data Wrangler.
  2. Sous l'onglet Import data (Importer des données), choisissez Amazon S3, puis spécifiez votre source de données sur la page Data sources/S3 source (Source de données/source S3).

    
                        Importez vos données.
  3. Après avoir importé vos données, choisissez le signe plus sur la page Data flow (Flux de données), puis choisissez Add Analysis (Ajouter une analyse).

    
                        Ajoutez une analyse pour les données importées.
  4. Sur la page Create Analysis (Créer une analyse), accédez au panneau Configure (Configuration), puis choisissez Bias Report (Rapport de biais) dans le menu Chart (Graphique).

    
                        Description de l'image.
  5. Configurez le rapport de biais en fournissant le Nom, la colonne à prédire et s'il s'agit d'une valeur ou d'un seuil, la colonne à analyser pour le biais (la facette) et s'il s'agit d'une valeur ou d'un seuil.

    
                        Configurez le rapport de biais 1.
  6. Continuez à configurer le rapport de biais en choisissant les métriques de biais.

    
                        Choisissez la métrique de biais.
  7. Choisissez Check for bias (Vérifier la présence de biais)pour générer et afficher le rapport de biais. Faites défiler la page vers le bas pour afficher tous les rapports.

    
                        Générez et affichez le rapport de biais.
  8. Choisissez le signe « supérieur à » situé à droite de la description de la métrique de biais pour afficher la documentation vous permettant d'interpréter la signification des valeurs de métrique.

    
                        Aide à l'interprétation des métriques de biais de données.
  9. Pour afficher un tableau récapitulatif des valeurs de métrique de biais, choisissez le tableau. Vous pouvez enregistrer le rapport pour l'exporter en choisissant Create (Créer) dans le coin inférieur droit de la page.

    
                        Affichez un tableau récapitulatif des valeurs de métrique de biais pour enregistrer le rapport.
  10. Sur la page où vos rapports de biais de données sont stockés, choisissez l'onglet Export (Exporter) pour télécharger les rapports.

    
                        Le rapport de biais de données.