CloudWatch Métricas para análise de desvio de polarização

Este guia mostra CloudWatch métricas e suas propriedades que você pode usar para análise de desvio de viés no SageMaker Clarify. As tarefas de monitoramento de desvios de polarização calculam tanto as métricas de viés antes do treinamento quanto as métricas de viés pós-treinamento e as publicam no seguinte namespace: CloudWatch

• Para endpoints em tempo real: aws/sagemaker/Endpoints/bias-metrics

• Criar trabalhos de transformação de lotes: aws/sagemaker/ModelMonitoring/bias-metrics

O nome da CloudWatch métrica acrescenta o nome abreviado da métrica a. bias_metric

Por exemplo, bias_metric_CI é a métrica de desvio para desequilíbrio de classes (CI).

nota

O +/- infinity é publicado como o número de ponto flutuante +/- 2.348543e108 e os erros, incluindo valores nulos, não são publicados.

Cada métrica tem as seguintes propriedades:

• Endpoint: o nome do endpoint monitorado, se aplicável.

• MonitoringSchedule O nome da programação para o trabalho de monitoramento.

• BiasStage: o nome do estágio do trabalho de monitoramento do desvio de polarização. Escolha Pre-training ou Post-Training.

• Label: o nome do recurso de destino, fornecido pelo label de configuração de análise do trabalho de monitoramento.

• LabelValue: o valor do recurso de destino, fornecido pelo label_values_or_threshold de configuração de análise do trabalho de monitoramento.

• Facet: o nome da faceta, fornecido pelo name_of_index da faceta de configuração da análise do trabalho de monitoramento.

• FacetValue: o valor da faceta, fornecido pelo nvalue_or_threshold da faceta de configuração da análise do trabalho de monitoramento.

Para impedir que os trabalhos de monitoramento publiquem métricas, defina publish_cloudwatch_metrics como Disabled no mapa Environment da definição de trabalhos de desvio de modelo.