条件付き承認の差 (DCAcc)

このメトリクスは、観測ラベルと、モデルによって予測されたラベルを比較し、予測された正の結果に対してファセット全体でこれが同じかどうかを評価します。このメトリクスは、特定のファセットに対してモデルが予測した正の結果 (ラベル y') が、トレーニングデータセットで観測された結果 (ラベル y) と比較してどれだけ多いかを定量化するという点で、人間のバイアスを模倣することに近づいています。例えば、中高年 (ファセット a) のローン申請のトレーニングデータセットで、他の年齢グループを含むファセット (ファセット d) と比較して、資格に基づくモデルで予測されるよりも多くの承認 (正の結果) があった場合、これは中高年に有利なローンの承認方法に潜在的なバイアスがあることを示している可能性があります。

条件付き承認の差の計算式は次のとおりです。

        DCAcc = c_a - c_d

コードの説明は以下のとおりです。

• c_a = n_a⁽¹⁾/ n'_a⁽¹⁾ は、ファセット a の値 1 (承認) の正の結果の観測数と、ファセット a の正の結果 (承認) の予測数の比率です。

• c_d = n_d⁽¹⁾/ n'_d⁽¹⁾ は、ファセット d の値 1 (承認) の正の結果の観測数と、ファセット d の予測される正の結果 (承認) の予測数の比率です。

DCAcc メトリクスは、資格に基づく優先処理を明らかにする、正と負の両方のバイアスを捉えることができます。次のような、ローンの承認に関する年齢ベースのバイアスの例を考えてみましょう。

例 1: 正のバイアス

ローンを申請した 100 人の中高年の人たち (ファセット a) と 50 人の他の年齢グループの人たち (ファセット d) からなるデータセットがあり、モデルはファセット a から 60 人、ファセット d から 30 人にローンを許可することを推奨したとします。つまり、予測された比率には、DPPL メトリクスに関するバイアスはありません。しかし、観測ラベルは、ファセット a から 70 人、ファセット d から 20 人にローンが許可されたことを示しています。言い換えれば、このモデルは、トレーニングデータで観測されたラベルが示唆するよりも 17% 少なく中高年のファセットに融資を許可し (70/60 = 1.17)、観測されたラベルが示唆するよりも 33% 多く他の年齢グループにローンを許可しています (20/30 = 0.67)。DCAcc 値を計算すると、次のようになります。

        DCAcc = 70/60 - 20/30 = 1/2

正の値は、中高年のファセット a に対して潜在的なバイアスがあることを示しており、他のファセット d と比較して、観測データ (バイアスがないと見なされる) が示すよりも受け入れ率が低いことを示しています。

例 2: 負のバイアス

ローンを申請した 100 人の中高年の人たち (ファセット a) と 50 人の他の年齢グループの人たち (ファセット d) からなるデータセットがあり、モデルはファセット a から 60 人、ファセット d から 30 人にローンを許可することを推奨したとします。つまり、予測された比率には、DPPL メトリクスに関するバイアスはありません。しかし、観測ラベルは、ファセット a から 50 人、ファセット d から 40 人にローンが許可されたことを示しています。言い換えれば、このモデルは、提案されたトレーニングデータの観測ラベルよりも中高年グループのファセットから 17% 少なくローンを許可し (50/60 = 0.83) 、他の年齢グループからは、提案された観測ラベルよりも 33% 多くローンを許可したことになります (40/30 = 1.33)。DCAcc 値を計算すると、次のようになります。

        DCAcc = 50/60 - 40/30 = -1/2

負の値は、観測されたデータ (バイアスがないと見なされる) が示すよりも、中高年ファセット a と比較して受け入れ率が低いファセット d に対して潜在的なバイアスがあることを示します。

DCAcc を使用すると、 human-in-the-loop 設定でモデル予測を監督する人間によって、潜在的な (意図しない) バイアスを検出できることに注意してください。例えば、モデルによる予測 y' にはバイアスはないが、最終的な決定は、モデル予測を変更して新しい最終バージョンの y' を生成できる (おそらく追加機能のアクセス権を持つ) 人間によって行われると仮定します。人間による追加処理は、1 つのファセットからの不均衡な数へのローンを意図せずに拒否する可能性があります。DCAcc は、このような潜在的なバイアスの検出に役立ちます。

バイナリ、マルチカテゴリファセット、連続ラベルの条件付き承認の差の値の範囲は、(-∞, +∞) です。

• 正の値は、ファセット a の予測された承認数に対する観測された承認数の比率が、ファセット d の同じ比率よりも高い場合に発生します。これらの値は、ファセット a の対象となる申請者に対するバイアスがある可能性を示しています。比率の差が大きいほど、見かけ上のバイアスは大きくなります。

• ゼロに近い値は、ファセット a の予測された承認数に対する観測された承認数の比率が、ファセット d の比率と似ている場合に発生します。これらの値は、予測された承認率がラベル付きデータの観測値と一致しており、両方のファセットから対象となる申請者が同様の方法で承認されていることを示します。

• 負の値は、ファセット a の予測された承認数に対する観測された承認数の比率が、ファセット d の同様の比率よりも低い場合に発生します。これらの値は、ファセット d の対象となる申請者に対するバイアスがある可能性を示しています。比率の差が負であるほど、見かけ上のバイアスは大きくなります。