Différence de précision (AD)

La métrique de différence de précision (AD) est la différence de précision de prédiction entre différentes facettes. Cette métrique détermine si la classification par le modèle est plus précise pour une facette que pour l'autre. L'AD indique si une facette enregistre une plus grande proportion d'erreurs de type I et de type II. Elle ne peut cependant pas faire la différence entre les erreurs de type I et de type II. Par exemple, la précision du modèle peut être égale pour différents groupes d'âge, mais les erreurs peuvent être principalement des faux positifs (erreurs de type I) pour l'un des groupes et principalement des faux négatifs (erreurs de type II) pour l'autre.

En outre, si la précision d'approbation de prêt est nettement plus élevée pour une population d'âge moyen (facette a) que pour un autre groupe d'âge (facette d), alors, soit une proportion supérieure de demandeurs qualifiés du second groupe se voit refuser un prêt (FN), soit une proportion supérieure de demandeurs non qualifiés de ce groupe obtient un prêt (FP), ou les deux. Cela peut conduire à une injustice envers le second groupe, même si la proportion de prêts accordés est sensiblement identique pour les deux groupes d'âge, comme l'indique une valeur de DPPL proche de zéro.

La formule pour la métrique AD est la différence entre la précision de prédiction pour la facette a, ACC_a, moins celle de la facette d, ACC_d :

        AD = ACC_a - ACC_d

Où :

• ACC_a= (TP_a + TN_a)/(TP_a + TN_a+ FP_a + FN_a)

  • TP_a sont les vrais positifs prédits pour la facette a

  • TN_a sont les faux négatifs prédits pour la facette a.

  • FP_a sont les faux positifs prédits pour la facette a.

  • FN_a sont les faux négatifs prédits pour la facette a.

• ACC_d= (TP_d + TN_d)/(TP_d + TN_d+ FP_d + FN_d)

  • TP_d sont les vrais positifs prédits pour la facette d.

  • TN_d sont les vrais négatifs prédits pour la facette d

  • FP_d sont les faux positifs prédits pour la facette d

  • FN_d sont les faux négatifs prédits pour la facette d

Par exemple, supposons qu'un modèle accorde des prêts à 70 demandeurs d'une facette a qui en compte 100, et rejette les 30 autres. 10 n'auraient pas dû recevoir le prêt (FP_a) et 60 ont été approuvés comme cela était prévu (TP_a). Sur la totalité des rejets, 20 auraient dû être approuvés (FN_a), tandis que 10 ont été correctement rejetés (TN_a). La précision pour la facette a est la suivante :

        ACC_a = (60 + 10)/(60 + 10 + 20 + 10) = 0,7

Ensuite, supposons qu'un modèle accorde des prêts à 50 demandeurs d'une facette d qui en compte 100, et rejette les 50 autres. 10 n'auraient pas dû recevoir le prêt (FP_a) et 40 ont été approuvés comme cela était prévu (TP_a). Sur la totalité des rejets, 40 auraient dû être approuvés (FN_a), tandis que 10 ont été correctement rejetés (TN_a). La précision pour la facette a est déterminée comme suit :

        ACC_d = (40 + 10)/(40 + 10 + 40 + 10) = 0,5

La différence de précision est donc AD = ACC_a - ACC_d = 0,7 - 0,5 = 0,2. Comme la métrique est positive, cela indique un biais envers la facette d.

La plage de valeurs d'AD pour les étiquettes de facettes binaires et multicatégorie est [-1, +1].

• Des valeurs positives se produisent lorsque la précision de prédiction pour la facette a est supérieure à celle pour la facette d. Cela signifie que la facette d pâtit davantage d'une combinaison de faux positifs (erreurs de type I) ou de faux négatifs (erreurs de type II). Cela indique donc un biais potentiel envers la facette défavorisée d.

• Des valeurs proches de zéro se produisent lorsque la précision de la prédiction pour la facette a est similaire à celle pour la facette d.

• Des valeurs négatives se produisent lorsque la précision de prédiction pour la facette d est supérieure à celle pour la facette a. Cela signifie que la facette a pâtit davantage d'une combinaison de faux positifs (erreurs de type I) ou de faux négatifs (erreurs de type II). Cela indique donc un biais potentiel envers la facette favorisée a.