바이어스 드리프트 위반

바이어스 드리프트 작업은 기준 구성에서 제공하는 기준 제약 조건을 현재의 MonitoringExecution에 대한 분석 결과와 비교하여 평가합니다. 이 작업은 위반이 감지되면 해당 위반을 실행 출력 위치에 있는 constraint_violations.json 파일에 나열하고, 실행 상태를 결과 해석로 표시합니다.

바이어스 드리프트 위반 파일의 스키마는 다음과 같습니다.

• facet - 모니터링 작업 분석의 구성 패싯 name_or_index에 의해 제공되는 해당 패싯의 이름입니다.

• facet_value - 모니터링 작업 분석의 구성 패싯 value_or_threshold에 의해 제공되는 해당 패싯의 값입니다.

• metric_name - 편향 지표의 약식 이름입니다. 예를 들어, 클래스 불균형의 경우 “CI”로 표기됩니다. 각각의 훈련 전 편향 지표에 대한 약칭의 경우 훈련 전 편향 지표를, 각각의 훈련 후 편향 지표에 대한 약칭의 경우 훈련 후 데이터 및 모델 편향 지표를 참조하세요.

• constraint_check_type - 모니터링되는 위반의 유형입니다. 현재 bias_drift_check만 지원됩니다.

• description - 위반 내역에 대한 설명 메시지입니다.

{
    "version": "1.0",
    "violations": [{
        "facet": "string",
        "facet_value": "string",
        "metric_name": "string",
        "constraint_check_type": "string",
        "description": "string"
    }]
}

편향 지표는 분포가 균등한 정도를 측정하는 데 사용됩니다. 값이 0에 가까우면 분포가 더 잘 이루어지고 있음을 나타냅니다. 만약 작업 분석 결과 파일(analysis.json)의 편향 지표 값이 기준 제약 조건 파일의 해당 값보다 나쁘다면, 위반으로 기록됩니다. 예를 들어, 만약 DPPL 편향 지표의 기준 제약 조건이 0.2이고 분석 결과가 0.1이라면, 0.1은 0.2보다는 0에 더 가까우므로 이는 위반으로 기록되지 않습니다. 그러나 만약 분석 결과가 -0.3이라면, 이는 기준 제약 조건인 0.2보다 0에서 더 멀리 떨어진 값이기 때문에 위반으로 기록됩니다.

{
    "version": "1.0",
    "violations": [{
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "CI",
        "constraint_check_type": "bias_drift_check",
        "description": "Value 0.0751544567666083 does not meet the constraint requirement"
    }, {
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "DPPL",
        "constraint_check_type": "bias_drift_check",
        "description": "Value -0.0791244970125596 does not meet the constraint requirement"
    }]
}