CloudWatch Métriques pour l'analyse de la dérive des biais

Ce guide présente CloudWatch les métriques et leurs propriétés que vous pouvez utiliser pour l'analyse de la dérive des biais dans SageMaker Clarify. Les tâches de surveillance de la dérive des biais calculent à la fois les mesures de biais avant l'entraînement et les mesures de biais après l'entraînement, et les publient dans l'espace de noms suivant : CloudWatch

• Pour les points de terminaison en temps réel : aws/sagemaker/Endpoints/bias-metrics

• Pour les tâches de transformation par lots : aws/sagemaker/ModelMonitoring/bias-metrics

Le nom de la CloudWatch métrique ajoute le nom abrégé de la métrique àbias_metric.

Par exemple,bias_metric_CI est la métrique de biais pour le déséquilibre de classe (IC).

Note

+/- infinity est publié en tant que nombre à virgule flottante +/- 2.348543e108, et les erreurs incluant des valeurs nulles ne sont pas publiées.

Chaque métrique comporte les propriétés suivantes :

• Endpoint : le nom du point de terminaison surveillé, le cas échéant.

• MonitoringSchedule : le nom du programme de surveillance.

• BiasStage : le nom de l'étape de la tâche de surveillance de dérive de biais. Choisissez Pre-training ou Post-Training.

• Label : le nom de la fonctionnalité cible, fourni par la configuration de l'analyse des tâches de surveillance label.

• LabelValue : la valeur de la fonctionnalité cible, fournie par la configuration de l'analyse des tâches de surveillance label_values_or_threshold.

• Facet : le nom de la fonctionnalité cible, fourni par la facette de la configuration de l'analyse des tâches de surveillance name_of_index.

• FacetValue : la valeur de la fonctionnalité cible, fournie par la facette de la configuration de l'analyse des tâches de surveillance nvalue_or_threshold.

Pour empêcher les tâches de surveillance de publier des métriques, définissez publish_cloudwatch_metrics à Disabled dans la Environmentcarte de la définition du modèle de tâche de bias.