Diferencia de precisión (AD)

La métrica de diferencia de precisión (AD) es la diferencia entre la precisión de la predicción para diferentes facetas. Esta métrica determina si la clasificación por el modelo es más precisa en una faceta que en la otra. La AD indica si una faceta incurre en una mayor proporción de errores de tipo I y tipo II. Sin embargo, no puede diferenciar entre los errores de tipo I y de tipo II. Por ejemplo, el modelo puede tener la misma precisión para diferentes grupos demográficos de edad, pero los errores pueden ser en su mayoría falsos positivos (errores de tipo I) para un grupo por edad y, en su mayoría, falsos negativos (errores de tipo II) para el otro.

Además, si las aprobaciones de préstamos se realizan con una precisión mucho mayor para un grupo demográfico de mediana edad (faceta a) que para otro grupo demográfico basado en la edad (faceta d), o bien se deniega un préstamo a una mayor proporción de solicitantes cualificados del segundo grupo (FN) o bien una mayor proporción de solicitantes no cualificados de ese grupo obtiene un préstamo (FP) o ambas cosas. Esto puede provocar que el segundo grupo sea injusto dentro del grupo, incluso si la proporción de préstamos concedidos es prácticamente la misma para ambos grupos de edad, lo que se indica con un DPPL valor cercano a cero.

La fórmula de la métrica AD es la diferencia entre la precisión de la predicción de la faceta a menos la de la faceta d: ACC _a ACC _d

        AD = - ACC _a ACC _d

Donde:

• ACC_a= (TP _a + TN_a)/(TP _a + TN _a + FP _a + FN_a)

  • TP_a son los verdaderos positivos predichos para la faceta a.

  • TN_a son los verdaderos negativos predichos para la faceta a.

  • FP_a son los falsos positivos predichos para la faceta a.

  • FN_a son los falsos negativos predichos para la faceta a

• ACC_d= (TP _d + TN_d)/(TP _d + TN + FP _{d d} + _d FN)

  • TP_d son los verdaderos positivos predichos para la faceta d.

  • TN_d son los verdaderos negativos predichos para la faceta d.

  • FP_d son los falsos positivos predichos para la faceta d.

  • FN_d son los falsos negativos predichos para la faceta d.

Por ejemplo, suponga que un modelo aprueba préstamos a 70 solicitantes de 100 de la faceta a y rechaza los otros 30. A 10 no se les debería haber ofrecido el préstamo (FP_a) y a 60 se les aprobó correctamente (TP_a). 20 de los rechazos deberían haber sido aprobados (FN_a) y 10 se rechazaron correctamente (TN_a). La precisión de la faceta a es la siguiente:

        ACC_a= (60 + 10)/(60 + 10 + 20 + 10) = 0.7

Por ejemplo, suponga que un modelo aprueba préstamos a 50 solicitantes de 100 de la faceta d y rechaza los otros 50. A 10 no se les debería haber ofrecido el préstamo (FP_a) y a 40 se les aprobó correctamente (TP_a). 40 de los rechazos deberían haber sido aprobados (FN_a) y 10 se rechazaron correctamente (TN_a). La precisión de la faceta a se determina de la siguiente manera:

        ACC_d= (40 + 10)/(40 + 10 + 40 + 10) = 0,5

Por lo tanto, la diferencia de precisión es AD ACC _d = ACC _a - = 0.7 - 0.5 = 0.2. Esto indica que hay un sesgo en contra de la faceta d, ya que la métrica es positiva.

El rango de valores AD para etiquetas de facetas binarias y multicategoría es [-1, +1].

• Los valores positivos se producen cuando la precisión de la predicción de la faceta a es mayor a la de la faceta d Esto significa que la faceta d sufre más a causa de alguna combinación de falsos positivos (errores de tipo I) o falsos negativos (errores de tipo II). Esto significa que existe un posible sesgo en contra de la faceta desfavorecida d.

• Los valores cercanos a cero se producen cuando la precisión de la predicción de la faceta a es similar a la de la faceta d

• Los valores negativos se producen cuando la precisión de la predicción de la faceta d es mayor a la de la faceta a Esto significa que la faceta a sufre más a causa de alguna combinación de falsos positivos (errores de tipo I) o falsos negativos (errores de tipo II). Esto significa que existe un posible sesgo en contra de la faceta favorecida a.