Explicabilité du modèle et de la détection de biais Amazon SageMaker Clarify - Amazon SageMaker

Explicabilité du modèle et de la détection de biais Amazon SageMaker Clarify

Cette rubrique décrit la configuration d'une tâche de traitement Amazon SageMaker Clarify permettant de calculer des métriques de biais et des attributions de fonctionnalités à des fins d'explicabilité. La tâche est mise en œuvre à l'aide d'une image de conteneur SageMaker Clarify spécialisée. Des instructions sont fournies sur la façon de trouver et télécharger l'une de ces images de conteneur. Une présentation du fonctionnement de SageMaker Clarify est esquissée. Les paramètres nécessaires à la configuration de la tâche de traitement et du type d'analyse sont décrits. Les prérequis sont décrits, et des conseils sur les ressources de calcul utilisées par la tâche de traitement SageMaker Clarify sont fournis.

Exemples de blocs-notes

Amazon SageMaker Clarify fournit l'exemple de bloc-notes suivant pour la détection de biais post-entraînement et l'explicabilité du modèle :

  • Amazon SageMaker Clarify Processing (Traitement avec Amazon Sagemaker Clarify) – Utilisez SageMaker Clarify pour créer une tâche de traitement pour la détection de biais et expliquer les prédictions de modèle avec des attributions de fonction. Par exemple, vous pouvez utiliser les formats de données CSV et JSON Lines, ajouter votre propre conteneur et exécuter des tâches de traitement avec Spark.

Ce bloc-notes a été vérifié comme s'exécutant dans Amazon SageMaker Studio seulement. Pour obtenir des instructions sur la façon d'ouvrir un bloc-notes dans Amazon SageMaker Studio, veuillez consulter Créer ou ouvrir un bloc-notes Amazon SageMaker Studio. Si vous êtes invité à choisir un noyau, choisissez Python 3 (Science des données).

Prérequis

Avant de commencer, vérifiez que les prérequis suivants sont remplis :

  • Vous devez fournir un jeu de données d'entrée sous forme de fichiers tabulaires au format de lignes CSV ou https://jsonlines.org/"?>JSON. Le jeu de données d'entrée doit inclure une colonne d'étiquette pour l'analyse de biais. Le jeu de données doit être préparé pour le machine learning avec tout le pré-traitement nécessaire déjà accompli, comme le nettoyage de données ou l'ingénierie des fonctionnalités.

  • Fourniture d'un artefact de modèle prenant en charge le format de fichier CSV ou JSON Lines comme l'une de ses entrées de type de contenu. Concernant les métriques de biais post-entraînement et l'explicabilité, nous utilisons le jeu de données pour faire des inférences avec l'artefact du modèle. Chaque ligne, moins la colonne étiquette, doit être prête à être utilisée comme charge utile pour les inférences.

  • Pour créer des tâches de traitement à l'aide de l'image du conteneur SageMaker, vous avez besoin des éléments suivants :

    • L'isolement réseau doit être désactivé pour la tâche de traitement.

    • Si le modèle se trouve dans un VPC, la tâche de traitement doit se trouver dans le même VPC que le modèle.

    • L'utilisateur/rôle IAM de l'appelant doit disposer des autorisations pour les API SageMaker. Nous vous recommandons d'utiliser la politique gérée "arn:aws:iam::aws:policy/AmazonSageMakerFullAccess".