トレーニング後のデータとモデルのバイアスを測定する

Amazon SageMaker Clarify には、公平性に関するさまざまな概念を定量化するのに役立つ、11 種類のトレーニング後のデータとモデルバイアスメトリクスが用意されています。これらの概念をすべて同時に満たすことはできず、分析対象の潜在的なバイアスを含むケースの詳細に応じて選択されます。これらのメトリクスのほとんどは、異なる属性グループの二項分類混同行列から取得した数値の組み合わせです。公平性とバイアスは幅広いメトリクスで定義できるため、個々のユースケースに関連するメトリクスを理解し選択するには人間の判断が必要であり、顧客は適切なステークホルダーと相談して、その適用に適した公平性の尺度を決定する必要があります。

次の表記法を使用してバイアスメトリクスを説明します。ここでは二項分類の概念モデルについて説明します。この概念モデルでは、事象が、そのサンプル空間に正 (値 1) と負 (値 0) という 2 つの可能な結果のみでラベル付けされます。このフレームワークは通常、簡単な方法でマルチカテゴリ分類に拡張したり、必要に応じて連続的に数値化された結果を含むケースに拡張したりできます。二項分類の場合、正と負のラベルは、有利なファセット a と不利なファセット d の raw データセットに記録された結果に割り当てられます。これらのラベル y は、観測ラベルと呼ばれ、機械学習ライフサイクルのトレーニングまたは推論段階で機械学習モデルによって割り当てられる予測ラベル y' とは区別されます。これらのラベルは、それぞれのファセットの結果の確率分布 P_a(y) と P_d(y) を定義するために使用されます。

• ラベル:

  • y は、トレーニングデータセット内のイベント結果の n 個の観測ラベルを表します。

  • y' は、データセットにある n 個の観察ラベルに対し、トレーニングされたモデルが予測したラベルを表します。

• 結果:

  • アプリケーションの承認など、サンプルの正の結果 (値 1)。

    • n⁽¹⁾ は、正の結果 (承認) の観測ラベルの数です。

    • n'⁽¹⁾ は、正の結果 (承認) の予測ラベルの数です。

  • アプリケーションの拒否など、サンプルの負の結果 (値 0)。

    • n⁽⁰⁾ は、負の結果 (拒否) の観測ラベルの数です。

    • n'⁽⁰⁾ は、負の結果 (拒否) の予測ラベルの数です。

• ファセット値:

  • ファセット a - バイアスが有利になる属性を定義する特徴値。

    • n_a は、有利なファセット値の観測ラベルの数: n_a = n_a⁽¹⁾ + n_a⁽⁰⁾ ファセット値 a の正と負の観測ラベルの合計。

    • n'_a は、有利なファセット値の予測ラベルの数: n'_a = n'_a⁽¹⁾ + n'_a⁽⁰⁾ ファセット値 a の正と負の予測結果ラベルの合計。n'_a = n_a であることに注意してください。

  • ファセット d - バイアスが不利になる属性を定義する特徴値。

    • n_d は、不利なファセット値の観測ラベルの数: n_d = n_d⁽¹⁾ + n_d⁽⁰⁾ ファセット値 d の正と負の観測ラベルの合計。

    • n'_d は、不利なファセット値の予測ラベルの数: n'_d = n'_d⁽¹⁾ + n'_d⁽⁰⁾ ファセット値 d の正と負の予測ラベルの合計。n'_d = n_d であることに注意してください。

• ラベル付けされたファセットデータの結果の確率分布:

  • P_a(y) は、ファセット a の観測ラベルの確率分布です。バイナリラベル付きデータの場合、この分布は、総数に対する正の結果でラベル付けされたファセット a のサンプル数の比率 P_a(y¹) = n_a⁽¹⁾/ n_a と、総数に対する負の結果のサンプル数の比率 P_a(y⁰) = n_a⁽⁰⁾/ n_a で与えられます。

  • P_d(y) は、ファセット d の観測ラベルの確率分布です。バイナリラベル付きデータの場合、この分布は、総数に対する正の結果でラベル付けされたファセット d のサンプル数P_d(y¹) = n_d⁽¹⁾/ n_d と、総数に対する負の結果のサンプル数の比率P_d(y⁰) = n_d⁽⁰⁾/ n_d で与えられます。

次の表に、クイックガイダンス用のチートシートと、トレーニング後のバイアスメトリクスへのリンクを示します。

トレーニング後のバイアスメトリクス
トレーニング後のバイアスメトリクス	説明	質問例	メトリクス値の解釈
予測ラベルにおける正の比率の差 (DPPL)	有利なファセット a と不利なファセット d の間の正の予測の割合の差を測定します。	バイアスを示す可能性のある予測された正の結果において、属性グループ間で不均衡がありましたか。	正規化されたバイナリおよびマルチカテゴリファセットラベルの範囲: [-1,+1] 連続ラベルの範囲: (-∞, +∞) 解釈: 正の値は、ファセット a が予測される正の結果の割合が高いことを示します。 ゼロに近い値は、ファセット間で予測される正の結果の割合がより均等であることを示します。 負の値は、不利なファセット d が予測される正の結果の割合が高いことを示します。
異種影響 (DI)	有利なファセット a と不利なファセット d の予測ラベルの比率を測定します。	バイアスを示す可能性のある予測された正の結果において、属性グループ間で不均衡がありましたか。	正規化されたバイナリ、マルチカテゴリファセット、連続ラベルの範囲: [0,∞) 解釈: 1 より小さい値は、有利なファセット a の予測される正の結果の割合が高いことを示します。 値 1 は、属性パリティがあることを示します。 1 より大きい値は、不利なファセット d の予測される正の結果の割合が高いことを示します。
予測ラベルの条件付き属性格差 (CDDPL)	ファセット全体だけでなく、サブグループ別の予測ラベルの格差を測定します。	一部の属性グループでは、ローン申請結果で、拒否の割合が承認の割合よりも大きいですか。	バイナリ、マルチカテゴリ、連続結果の CDDPL 値の範囲: [-1, +1] 正の値は、ファセット d が承認よりも拒否の方が多い結果を示します。 ゼロに近い値は、平均して属性格差がないことを示します。 負の値は、ファセット a が承認よりも拒否が多い結果を示します。
反事実フリップテスト (FT)	ファセット d の各メンバーを調べ、ファセット a の類似メンバーが異なるモデル予測をしているかどうかを評価します。	特定の年齢層に属する 1 つのグループは、すべての特徴が異なる年齢層とほぼ一致しているのに、平均してより高い給料を支払われていますか。	バイナリおよびマルチカテゴリファセットラベルの範囲は [-1, +1] です。 正の値は、不利なファセット d の不利な反事実フリップテスト決定数が有利な反事実フリップテスト決定数を上回る場合に発生します。 ゼロに近い値は、不利な反事実フリップテスト決定数と有利な反事実フリップテスト決定数のバランスがとれるときに発生します。 負の値は、不利なファセット d の不利な反事実フリップテスト決定数が有利な反事実フリップテスト決定数を下回る場合に発生します。
精度差 (AD)	有利なファセットと不利なファセットの予測精度の差を測定します。	モデルは、すべての属性グループのアプリケーションのラベルを正確に予測しますか。	バイナリおよびマルチカテゴリファセットラベルの範囲は [-1, +1] です。 正の値は、ファセット d が、偽陽性 (タイプ I エラー) または偽陰性 (タイプ II エラー) の組み合わせで、より大きな問題を受けることを示します。これは、不利なファセット d に対して潜在的なバイアスがあることを意味します。 ゼロに近い値は、ファセット a の予測精度がファセット d の予測精度と類似している場合に発生します。 負の値は、ファセット a が、偽陽性 (タイプ I エラー) または偽陰性 (タイプ II エラー) の組み合わせで、より大きな問題を受けることを示します。これは、有利なファセット a に対してバイアスがあることを意味します。
リコール差 (RD)	有利なファセットと不利なファセットのモデルのリコールを比較します。	ある属性は、別の属性と比較して、モデルのリコールが高いことに起因する、年齢ベースの融資のバイアスはありますか。	二項分類とマルチカテゴリ分類の範囲: [-1, +1]。 正の値は、モデルがファセット a の真陽性をより多く検出し、不利なファセット d に対しバイアスされていることを示します。 ゼロに近い値は、モデルが両方のファセットでほぼ同じ数の真陽性を検出し、バイアスがないことを示します。 負の値は、モデルがファセット d の真陽性をより多く検出し、有利なファセット a に対しバイアスされていることを示します。
条件付き承認の差 (DCAcc)	観測されたラベルを、モデルによって予測されたラベルと比較します。予測される肯定的な結果 (受け入れ) について、これがあらゆるファセットで同じかどうかを評価します。	ある年齢層を別の年齢層と比較したとき、ローンが受理される頻度 (資格に基づく) は予測よりも多いですか、それとも少ないですか。	バイナリ、マルチカテゴリファセット、連続ラベルの範囲: (-∞, +∞)。 正の値は、不利なファセット d の対象となる申請者に対するバイアスの可能性を示します。 ゼロに近い値は、両方のファセットの対象となる申請者が同様の方法で承認されていることを示します。 負の値は、有利なファセット a の対象となる申請者に対するバイアスの可能性を示します。
承認率の差 (DAR)	有利なファセットと不利なファセット間で、予測された陽性 (TP + FP) に対する観測された正の結果 (TP) の比率の差を測定します。	すべての年齢グループにわたって対象となる申請者のローン承認を予測する場合、モデルの精度は同じですか。	バイナリ、マルチカテゴリファセット、連続ラベルの範囲は [-1, +1] です。 正の値は、不利なファセット d で比較的多くの偽陽性が発生することによって引き起こされるファセット d に対するバイアスの可能性を示します。 ゼロに近い値は、正の結果 (承認) の観測ラベルが、モデルによって両方のファセットで同じ精度で予測されていることを示します。 負の値は、有利なファセット a で比較的多くの偽陽性が発生することによって引き起こされるファセット a に対するバイアスの可能性を示します。
特異度差 (SD)	有利なファセットと不利なファセットの間でモデルの特異性を比較します。	このモデルでは、ある年齢層の特異性が他の年齢層に比べて高いと予測されているため、融資に年齢に基づくバイアスはありますか。	二項分類とマルチカテゴリ分類の範囲: [-1, +1]。 正の値は、モデルにファセット d についての偽陽性が少なく、不利なファセット d に対してバイアスがあることを示します。 ゼロに近い値は、モデルが両方のファセットでほぼ同数の偽陽性を検出し、バイアスがないことを示します。 負の値は、モデルにファセット a についての偽陽性が少なく、有利なファセット a に対してバイアスがあることを示します。
条件付き拒否の差 (DCR)	観測ラベルとモデルによって予測されたラベルと比較し、負の結果 (拒否) に対してファセット全体でこれが同じかどうかを評価します。	ある属性で予測されるローン申請の拒否は、資格に基づく別の属性と比較して、多いですか少ないですか。	バイナリ、マルチカテゴリファセット、連続ラベルの範囲: (-∞, +∞)。 正の値は、不利なファセット d の対象となる申請者に対するバイアスの可能性を示します。 ゼロに近い値は、両方のファセットの対象となる申請者が同様の方法で拒否されていることを示します。 負の値は、有利なファセット a の対象となる申請者に対するバイアスの可能性を示します。
拒否率の差 (DRR)	不利なファセットと有利なファセット間で、予測された陰性 (TN + FN) に対する観測された負の結果 (TN) の比率の差を測定します。	すべての属性にわたって対象外の申請者のローン拒否を予測する場合、モデルの精度は同じですか。	バイナリ、マルチカテゴリファセット、連続ラベルの範囲は [-1, +1] です。 正の値は、有利なファセット a で比較的多くの誤判定が発生することによって引き起こされる可能性のあるバイアスを示します。 ゼロに近い値は、両方のファセットに対して負の結果 (拒否) が同じ精度で予測されていることを示します。 負の値は、不利なファセット d で比較的多くの誤判定が発生することによって引き起こされる可能性のあるバイアスを示します。
処理の同等性 (TE)	有利なファセットと不利なファセット間の偽陽性と偽陰性の比率の差を測定します。	ローン申請では、偽陽性と偽陰性の相対比率は、すべての属性で同じですか。	バイナリおよびマルチカテゴリファセットラベルの範囲: (-∞, +∞)。 正の値は、ファセット a の偽陽性と偽陰性の比率がファセット d より大きい場合に発生します。 ゼロに近い値は、ファセット a の偽陽性と偽陰性の比率がファセット d と似ている場合に発生します。 負の値は、ファセット a の偽陽性と偽陰性の比率がファセット d より小さい場合に発生します。
一般化エントロピー (GE)	モデル予測によって各入力に割り当てられた利益 b の不平等を測定します。	ローン申請分類の候補となる 2 つのモデルのうち、一方は望ましい結果の分布が他方よりも不均一になりますか。	バイナリおよびマルチカテゴリファセットラベルの範囲は (0、0.5) です。モデルが誤判定のみを予測する場合、GE は定義されません。 すべての予測が正しいかすべての予測が誤判定の場合、値はゼロになります。 正の値は利益の不平等を示し、0.5 は最大の不平等を表します。

トレーニング後のバイアスメトリクスの詳細については、「A Family of Fairness Measures for Machine Learning in Finance」を参照してください。

トピック

• 予測ラベルにおける正の比率の差 (DPPL)
• 異種影響 (DI)
• 条件付き承認の差 (DCAcc)
• 条件付き拒否の差 (DCR)
• 特異度差 (SD)
• リコール差 (RD)
• 承認率の差 (DAR)
• 拒否率の差 (DRR)
• 精度差 (AD)
• 処理の同等性 (TE)
• 予測ラベルの条件付き属性格差 (CDDPL)
• 反事実フリップテスト (FT)
• 一般化エントロピー (GE)