精度差 (AD)

精度差 (AD) メトリクスは、異なるファセットの予測精度の差です。このメトリクスは、モデルによる分類が、あるファセットに対して他のファセットよりも正確であるかどうかを決定します。AD は、1 つのファセットでタイプ I とタイプ II のエラーの割合が大きいかどうかを示します。ただし、タイプ I とタイプ II のエラーを区別することはできません。例えば、モデルの精度は年齢層が異なっても同じになりますが、エラーは、ある年齢ベースのグループでは大部分が偽陽性 (タイプ I エラー)で 、他の年齢層では大部分が偽陰性 (タイプ II エラー) である可能性があります。

また、中高年層 (ファセット a) に対して、別の年齢層 (ファセット d) よりもはるかに高い精度でローンの承認が行われる場合、2 番目の年齢層の対象となる申請者の割合が大きい方がローンを拒否される (FN) か、そのグループの対象外の申請者の割合が大きい方がローンを受ける (FP) か、またはその両方になります。このため、両方の年齢ベースのグループで承認されたローンの割合がほぼ同じであっても、2 番目のグループでグループの不公平につながる可能性があります。これはゼロに近い DPPL 値で示されます。

AD メトリクスの計算式は、ファセット a の予測精度 ACC_a から、ファセット d の予測精度 ACC_d を引いた差です。

        AD = ACC_a - ACC_d

コードの説明は以下のとおりです。

例えば、あるモデルが 100 人のファセット a から 70 人の申請者のローンを承認し、残りの 30 人を拒否したとします。10 人はローンを提供されるべきではなく (FP_a)、承認されるべき 60 人は承認されました (TP_a)。拒否のうち 20 人は承認されるべきであり (FN_a)、10 人は正しく拒否されました (TN_a)。ファセット a の精度は次のとおりです。

        ACC_a = (60 + 10)/(60 + 10 + 20 + 10) = 0.7

次に、あるモデルが 100 人のファセット d から 50 人の申請者のローンを承認し、残りの 50 人を拒否したとします。10 人はローンを提供されるべきではなく (FP_a)、承認されるべき 40 人が承認されました (TP_a)。承認されるべき 40 人が拒否され (FN_a)、10 人は正しく拒否されました (TN_a)。ファセット a の精度は次のように決定されます。

        ACC_d= (40 + 10)/(40 + 10 + 40 + 10) = 0.5

したがって、精度の差は、AD = ACC_a - ACC_d = 0.7 - 0.5 = 0.2 となります。これは、メトリクスが正の値であるため、ファセット d に対してバイアスがあることを示します。

バイナリおよびマルチカテゴリファセットラベルの AD の値の範囲は、[-1, +1] です。