バイアスドリフト違反

バイアスドリフトジョブは、ベースライン設定によって提供されるベースラインの制約を、現在の MonitoringExecution の分析結果と照らし合わせて評価します。違反が検出されると、ジョブはその違反を実行出力場所の constraint_violations.json ファイルに一覧表示し、実行ステータスを 結果の解釈 としてマークします。

バイアスドリフト違反ファイルのスキーマは次のとおりです。

• facet — モニタリングジョブ分析設定ファセット name_or_index によって提供されるファセットの名前。

• facet_value — モニタリングジョブ分析設定ファセット value_or_threshold によって提供されるファセットの値。

• metric_name — バイアスメトリクスのショートネーム。例えば、「CI」はクラスの不均衡を表します。トレーニング前の各バイアスメトリックの略称については、「トレーニング前のバイアスを測定する」を参照してください。トレーニング後の各バイアスメトリックの短縮名については、「トレーニング後のデータとモデルのバイアスを測定する」を参照してください。

• constraint_check_type — モニタリング対象の違反のタイプ。現在は、bias_drift_check のみがサポートされます。

• description — 違反を説明する説明メッセージ。

{
    "version": "1.0",
    "violations": [{
        "facet": "string",
        "facet_value": "string",
        "metric_name": "string",
        "constraint_check_type": "string",
        "description": "string"
    }]
}

バイアスメトリクスは、分布の平等度を測定するために使用されます。値がゼロに近いほど、分布のバランスが取れていることを示します。ジョブ分析結果ファイル (analysis.json) 内のバイアスメトリクスの値が、ベースライン制約ファイル内の対応する値よりも悪い場合、違反が記録されます。例えば、DPPLバイアスメトリクスのベースライン制約が で0.2、分析結果が の場合0.1、 が 0よりも0.1近いため、違反はログに記録されません0.2。ただし、分析結果が -0.3 であれば、ベースライン制約の 0.2 より 0 から離れているため、違反が記録されます。

{
    "version": "1.0",
    "violations": [{
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "CI",
        "constraint_check_type": "bias_drift_check",
        "description": "Value 0.0751544567666083 does not meet the constraint requirement"
    }, {
        "facet": "Age",
        "facet_value": "40",
        "metric_name": "DPPL",
        "constraint_check_type": "bias_drift_check",
        "description": "Value -0.0791244970125596 does not meet the constraint requirement"
    }]
}