Créer des bases de référence d'attributs de fonctions et des rapports d'explicabilité

Pour obtenir un exemple de bloc-notes contenant des instructions sur l'exécution d'une tâche de traitement SageMaker Clarify dans Studio, qui crée des explications pour ses prédictions par rapport à une base de référence, veuillez consulter Explainability and bias detection with Amazon SageMaker Clarify (Explicabilité et détection de biais avec Amazon SageMaker Clarify).

Pour obtenir des instructions sur la façon d'ouvrir un bloc-notes dans Amazon SageMaker Studio, veuillez consulter Créer ou ouvrir un bloc-notes Amazon SageMaker Studio. Les exemples de code suivants sont tirés de l'exemple de bloc-notes précédemment indiqué. Cette section traite du code lié à l'utilisation de valeurs de Shapley pour fournir des rapports qui comparent les contributions relatives apportées par chaque fonction aux prédictions.

Utiliser SHAPConfig pour créer la base de référence. Dans cet exemple, l'option mean_abs est la moyenne des valeurs SHAP absolues pour toutes les instances, spécifiées comme base de référence. Vous utilisez DataConfig pour configurer la variable cible, les chemins d'entrée et de sortie des données, ainsi que leurs formats.

shap_config = clarify.SHAPConfig(baseline=[test_features.iloc[0].values.tolist()],
                                 num_samples=15,
                                 agg_method='mean_abs')

explainability_output_path = 's3://{}/{}/clarify-explainability'.format(bucket, prefix)
explainability_data_config = clarify.DataConfig(s3_data_input_path=train_uri,
                                s3_output_path=explainability_output_path,
                                label='Target',
                                headers=training_data.columns.to_list(),
                                dataset_type='text/csv')

Note

Le noyau SHAP dans SageMaker Clarify prend en charge l'omission du paramètre « de référence ». Dans ce cas, une référence basée sur la mise en cluster du jeu de données d'entrée est générée automatiquement.

Ensuite, vous exécutez la tâche d'explicabilité.

clarify_processor.run_explainability(data_config=explainability_data_config,
                                     model_config=model_config,
                                     explainability_config=shap_config)

Pour afficher les graphiques de dépendance partielle (PDP), utilisez explainability_config=PDP_config.

Vous pouvez sélectionner les deux types de rapports avec explainability_config=[PDP_config,shap_config].

Affichez les résultats dans Studio ou téléchargez-les à partir du compartiment S3 explainability_output_path.