Égalité de traitement (TE) - Amazon SageMaker

Égalité de traitement (TE)

L'égalité de traitement (TE) est la différence dans le rapport entre les faux négatifs et les faux positifs entre les facettes a et d. Cette métrique a pour objectif principal d'évaluer si, avec une précision identique entre les groupes, les erreurs sont plus préjudiciables à un groupe qu'à un autre. Le taux d'erreur provient du total des faux positifs et des faux négatifs, mais leur répartition peut varier très fortement d'une facette à l'autre. Le TE mesure si les erreurs se compensent de façon similaire ou différente selon les facettes.

La formule de calcul de l'égalité de traitement :

        TE = FNd/FPd - FNa/FPa

Où :

  • FNd sont les faux négatifs prédits pour la facette d.

  • FPd sont les faux positifs prédits pour la facette d.

  • FNa sont les faux négatifs prédits pour la facette a.

  • FPa sont les faux positifs prédits pour la facette a.

Vous noterez que la métrique devient sans limite si la valeur FPa ou FPd est égale à zéro.

Par exemple, supposons qu'il y ait 100 demandeurs de prêt de la facette a et 50 de la facette d. Dans la facette a, 8 se sont vu refuser un prêt à tort (FNa) et 6 autres se sont vu accorder un prêt à tort (FPa). Les prédictions restantes étaient vraies, donc TPa + TNa = 86. Dans la facette d, 5 se sont vu refuser un prêt à tort (FNd) et 2 se sont vu accorder un prêt à tort (FPd). Les prédictions restantes étaient vraies, donc TPd + TNd = 43. Le rapport entre faux négatifs et faux positifs est égal à 8/6 = 1,33 pour la facette a et 5/2 = 2,5 pour la facette d. Donc, TE = 2,5 - 1,33 = 1,167, même avec une précision identique pour les deux facettes :

        ACCa = (86)/(86+ 8 + 6) = 0,86

        ACCd = (43)/(43 + 5 + 2) = 0,86

La plage de valeurs des différences de rejet conditionnel pour les étiquettes de facettes binaires et multicatégorie est (-∞, +∞). La métrique TE n'est pas définie pour les étiquettes continues. L'interprétation de cette métrique dépend de l'importance relative des faux positifs (erreur de type I) et des faux négatifs (erreur de type II).

  • Des valeurs positives se produisent lorsque le rapport entre faux négatifs et faux positifs pour la facette d est supérieur à celui de la facette a.

  • Des valeurs proches de zéro se produisent lorsque le rapport entre faux négatifs et faux positifs pour la facette a est semblable à celui de la facette d.

  • Des valeurs négatives se produisent lorsque le rapport entre faux négatifs et faux positifs pour la facette d est inférieur à celui de la facette a.

Note

Une version précédente indiquait que la métrique d'égalité de traitement était calculée comme FPa / FNa - FPd / FNd au lieu de FNd / FPd - FNa / FPa. Bien que l'une ou l'autre des versions puisse être utilisée. Pour plus d'informations, consultez Fairness measures for Machine Learning in Finance.