Égalité de traitement (TE) - Amazon SageMaker

Égalité de traitement (TE)

L'égalité de traitement (TE) est la différence dans le rapport entre les faux positifs et les faux négatifs entre les facettes a et d. Cette métrique a pour objectif principal d'évaluer si, avec une précision identique entre les groupes, les erreurs sont plus préjudiciables à un groupe qu'à un autre. Le taux d'erreur provient du total des faux positifs et des faux négatifs, mais leur répartition peut varier très fortement d'une facette à l'autre. Le TE mesure si les erreurs se compensent de façon similaire ou différente selon les facettes.

La formule de calcul de l'égalité de traitement :

        TE = FPa/FNa - FPd/FNd

Où :

  • FPa sont les faux positifs prédits pour la facette a.

  • FNa sont les faux négatifs prédits pour la facette a.

  • FPd sont les faux positifs prédits pour la facette d.

  • FNd sont les faux négatifs prédits pour la facette d.

Vous noterez que la métrique devient sans limite si la valeur FNa ou FNd est égale à zéro.

Par exemple, supposons qu'il y ait 100 demandeurs de prêt de la facette a et 50 de la facette d. Dans la facette a, 8 se sont vu refuser un prêt à tort (FNa) et 6 autres se sont vu accorder un prêt à tort (FPa). Les prédictions restantes étaient vraies, donc TPa + TNa = 86. Dans la facette d, 5 se sont vu refuser un prêt à tort (FNd) et 2 se sont vu accorder un prêt à tort (FPd). Les prédictions restantes étaient vraies, donc TPd + TNd = 43. Le rapport entre faux positifs et faux négatifs est égal à 6/8 = 0,75 pour la facette a et 2/5 = 0,40 pour la facette d. Donc, TE = 0,75 - 0,40 = 0,35, même avec une précision identique pour les deux facettes :

        ACCa = (86)/(68+ 8 + 6) = 0,86

        ACCd = (43)/(43 + 5 + 2) = 0,86

La plage de valeurs des différences de rejet conditionnel pour les étiquettes de facettes binaires et multicatégorie est (-∞, +∞). La métrique TE n'est pas définie pour les étiquettes continues. L'interprétation de cette métrique dépend de l'importance relative des faux positifs (erreur de type I) et des faux négatifs (erreur de type II).

  • Des valeurs positives se produisent lorsque le rapport entre faux positifs et faux négatifs pour la facette a est supérieur à celui de la facette d.

  • Des valeurs proches de zéro se produisent lorsque le rapport entre faux positifs et faux négatifs pour la facette a est semblable à celui de la facette d.

  • Des valeurs négatives se produisent lorsque le rapport entre faux positifs et faux négatifs pour la facette a est inférieur à celui de la facette d.