CloudWatch 바이어스 드리프트 분석을 위한 메트릭

이 가이드에서는 Clarify의 바이어스 드리프트 분석에 사용할 수 있는 CloudWatch 메트릭과 해당 속성을 보여줍니다. SageMaker 바이어스 드리프트 모니터링 작업은 훈련 전 편향 지표와 훈련 후 편향 지표를 모두 계산하여 다음 네임스페이스에 게시합니다. CloudWatch

• 실시간 엔드포인트인 경우: aws/sagemaker/Endpoints/bias-metrics

• 배치 변환 작업인 경우: aws/sagemaker/ModelMonitoring/bias-metrics

CloudWatch 메트릭 이름은 메트릭의 짧은 이름을 추가합니다. bias_metric

예를 들어, bias_metric_CI는 클래스 불균형(CI)에 대한 편향 지표입니다.

참고

+/- infinity는 부동 소수점 숫자 +/- 2.348543e108의 형태로 게시되며, null 값을 포함한 오류는 게시되지 않습니다.

각 지표에는 다음 속성이 있습니다.

• Endpoint: 해당 시, 모니터링되는 엔드포인트의 이름입니다.

• MonitoringSchedule: 모니터링 작업을 위한 일정의 이름입니다.

• BiasStage: 바이어스 드리프트 모니터링 작업의 단계 이름입니다. [Pre-training] 또는 [Post-Training]을 선택합니다.

• Label: 모니터링 작업 분석 구성 label에 의해 제공되는 대상 특징의 이름입니다.

• LabelValue: 모니터링 작업 분석 구성 label_values_or_threshold에 의해 제공되는 대상 특징의 값입니다.

• Facet: 모니터링 작업 분석의 구성 패싯 name_of_index에 의해 제공되는 해당 패싯의 이름입니다.

• FacetValue: 모니터링 작업 분석의 구성 패싯 nvalue_or_threshold에 의해 제공되는 해당 패싯의 값입니다.

모니터링 작업이 지표를 게시하지 않도록 하려면, 모델 바이어스 작업 정의의 Environment맵에서 publish_cloudwatch_metrics를 Disabled로 설정합니다.