Genauigkeitsunterschied (AD)

Die Kennzahl Genauigkeitsdifferenz (AD) ist die Differenz zwischen der Vorhersagegenauigkeit für verschiedene Facetn. Diese Metrik bestimmt, ob die Klassifizierung durch das Modell für eine Facet genauer ist als für die andere. AD gibt an, ob bei einer Facet ein größerer Anteil an Fehlern vom Typ I und Typ II auftritt. Es kann jedoch nicht zwischen Fehlern vom Typ I und Typ II unterschieden werden. Beispielsweise kann das Modell für verschiedene Altersdemographien die gleiche Genauigkeit aufweisen, aber die Fehler können für eine Altersgruppe hauptsächlich falsch positive Ergebnisse (Fehler vom Typ I) und für die andere hauptsächlich falsch negative Ergebnisse (Fehler vom Typ II) sein.

Wenn Kreditgenehmigungen für eine Bevölkerungsgruppe mittleren Alters (Facet a) mit viel höherer Genauigkeit erteilt werden als für eine andere Altersgruppe (Facet d), wird entweder einem größeren Anteil qualifizierter Antragsteller in der zweiten Gruppe ein Kredit verweigert (FN) oder ein größerer Anteil unqualifizierter Antragsteller aus dieser Gruppe erhält einen Kredit (FP) oder beides. Dies kann innerhalb der Gruppe zu ungerechtfertigter Behandlung der zweiten Gruppe führen, auch wenn der Anteil der gewährten Kredite für beide Altersgruppen nahezu gleich ist, was durch einen DPPL-Wert nahe Null angezeigt wird.

Die Formel für die AD-Metrik ist die Differenz zwischen der Vorhersagegenauigkeit für Facet a, ACC_a, minus der Genauigkeit für Facet d , ACC:_d

        AD = ACC_a – ACC_d

Wobei gilt:

• ACC_a = (TP_a + TN_a)/(TP_a + TN_a + FP_a + FN_a)

  • TP_a sind die wahren positiven Ergebnisse, die für Facet a vorhergesagt wurden

  • TN_a sind die wahren negativen Werte, die für Facet a vorhergesagt wurden

  • FP_a sind die falsch positiven Ergebnisse, die für Facet a vorhergesagt wurden

  • FN_a sind die falsch negativen Werte, die für Facet a vorhergesagt wurden

• ACC_d = (TP_d + TN_d)/(TP_d + TN_d + FP_d + FN_d)

  • TP_d sind die wahren positiven Ergebnisse, die für Facet d vorhergesagt wurden

  • TN_d sind die wahren negativen Werte, die für Facet d vorhergesagt wurden

  • FP_d sind die falsch positiven Ergebnisse, die für Facet d vorhergesagt wurden

  • FN_d sind die falsch negativen Ergebnisse, die für Facet D vorhergesagt wurden

Nehmen wir zum Beispiel an, ein Modell genehmigt Kredite an 70 Antragsteller von Facet a von 100 und lehnt die anderen 30 ab. 10 hätte das Darlehen nicht angeboten werden dürfen (FP_a) und 60 wurden genehmigt, die hätten sein sollen (TP_a). 20 der Ablehnungen hätten genehmigt werden müssen (FN_a) und 10 wurden korrekt abgelehnt (TN_a). Die Genauigkeit für Facet a ist wie folgt:

        ACC_a = (60 + 10)/(60 + 10 + 20 + 10) = 0,7

Nehmen wir als Nächstes an, ein Modell genehmigt Kredite an 50 Antragsteller aus Facet d von 100 und lehnt die anderen 50 ab. 10 hätten das Darlehen nicht angeboten werden sollen (FP_a) und 40 wurden genehmigt, die hätten sein sollen (TP_a). 40 der Ablehnungen hätten genehmigt werden müssen (FN_a) und 10 wurden korrekt abgelehnt (TN_a). Die Genauigkeit für Facet a wird wie folgt bestimmt:

        ACC_d= (40 + 10)/(40 + 10 + 40 + 10) = 0.5

Der Genauigkeitsunterschied ist somit AD = ACC_a – ACC_d = 0.7 – 0.5 = 0.2. Dies deutet darauf hin, dass eine Verzerrung gegenüber der Facet d vorliegt, da die Metrik positiv ist.

Der Wertebereich für AD für binäre und mehrkategoriale Facetnbeschriftungen ist [-1, +1].

• Positive Werte treten auf, wenn die Vorhersagegenauigkeit für Facet a größer ist als die für Facet d. Das bedeutet, dass Facet d stärker unter einer Kombination von falsch positiven Ergebnissen (Fehler vom Typ I) oder falsch negativen Ergebnissen (Fehler vom Typ II) leidet. Das bedeutet, dass ein potenzieller Bias gegenüber der benachteiligten Facet d besteht.

• Werte nahe Null treten auf, wenn die Vorhersagegenauigkeit für Facet a der für Facet d ähnlich ist.

• Negative Werte treten auf, wenn die Vorhersagegenauigkeit für Facet d größer ist als die für Facet a t. Das bedeutet, dass Facet a stärker unter einer Kombination von falsch positiven Ergebnissen (Fehler vom Typ I) oder falsch negativen Ergebnissen (Fehler vom Typ II) leidet. Das bedeutet, dass es sich um einen Bias gegenüber der bevorzugten Facet a handelt.