Diferencia en aceptación condicional (DCAcc)

Esta métrica compara las etiquetas observadas con las etiquetas predichas por el modelo y evalúa si esto es lo mismo en todas las facetas para los resultados positivos predichos. Esta métrica se aproxima al sesgo humano, ya que cuantifica cuántos resultados positivos más predijo un modelo (etiqueta y') para una faceta determinada en comparación con los observados en el conjunto de datos de entrenamiento (etiquetas y). Por ejemplo, si se observaran más aceptaciones (un resultado positivo) en el conjunto de datos de entrenamiento para las solicitudes de préstamos para un grupo de mediana edad (faceta a) de lo previsto por el modelo basado en cualificaciones, en comparación con la faceta que contiene otros grupos de edad (faceta d), esto podría indicar un posible sesgo en la forma en que se aprueban los préstamos a favor del grupo de mediana edad.

La fórmula para la diferencia en la aceptación condicional:

        DCAcc = c_a - c_d

Donde:

• c_a = n_a⁽¹⁾/ n'_a⁽¹⁾ es la relación entre el número observado de resultados positivos del valor 1 (aceptaciones) de la faceta a y el número previsto de resultados positivos (aceptaciones) para la faceta a.

• c_d = n_d⁽¹⁾/ n'_d⁽¹⁾ es la relación entre el número observado de resultados positivos del valor 1 (aceptaciones) de la faceta d y el número previsto de resultados positivos (aceptaciones) para la faceta d.

La métrica DCAcc puede captar sesgos tanto positivos como negativos que revelan un trato preferencial basado en las cualificaciones. Considere los siguientes casos de sesgo basado en la edad en la aceptación de préstamos.

Ejemplo 1: sesgo positivo

Suponga que tenemos un conjunto de datos de 100 personas de mediana edad (faceta a) y 50 personas de otros grupos de edad (faceta d) que solicitaron préstamos, y que el modelo recomendó que se concedieran préstamos a 60 de la faceta a y 30 de la faceta d. Es decir, las proporciones predichas no tienen sesgo con respecto a la métrica DPPL, pero las etiquetas observadas muestran que se concedieron préstamos a 70 de la faceta a y a 20 de la faceta d. En otras palabras, el modelo concedió préstamos a un 17 % menos de la faceta de mediana edad de lo que sugerían las etiquetas observadas en los datos de entrenamiento (70/60 = 1,17) y concedió préstamos a un 33 % más de personas de otros grupos de edad de lo que sugerían las etiquetas observadas (20/30 = 0,67). El cálculo del valor de DCAcc arroja lo siguiente:

        DCAcc = 70/60 - 20/30 = 1/2

El valor positivo indica que existe un posible sesgo en contra de la faceta a de mediana edad, con una tasa de aceptación más baja en comparación con la otra faceta d de lo que los datos observados (tomados como no sesgados) indican que es el caso.

Ejemplo 2: sesgo negativo

Suponga que tenemos un conjunto de datos de 100 personas de mediana edad (faceta a) y 50 personas de otros grupos de edad (faceta d) que solicitaron préstamos, y que el modelo recomendó que se concedieran préstamos a 60 de la faceta a y 30 de la faceta d. Es decir, las proporciones predichas no tienen sesgo con respecto a la métrica DPPL, pero las etiquetas observadas muestran que se concedieron préstamos a 50 de la faceta a y a 40 de la faceta d. En otras palabras, el modelo concedió préstamos a un 17 % menos de la faceta de mediana edad de lo que sugerían las etiquetas observadas en los datos de entrenamiento (50/60 = 0,83) y concedió préstamos a un 33 % más de personas de otros grupos de edad de lo que sugerían las etiquetas observadas (40/30 = 1,33). El cálculo del valor de DCAcc arroja lo siguiente:

        DCAcc = 50/60 - 40/30 = -1/2

El valor negativo indica que existe un posible sesgo en contra de la faceta d, con una tasa de aceptación más baja en comparación con la faceta a de mediana edad de lo que los datos observados (tomados como no sesgados) indican que es el caso.

Tenga en cuenta que puede usar el dCACC como ayuda para detectar posibles sesgos (no intencionados) por parte de las personas que supervisan las predicciones del modelo en un entorno. human-in-the-loop Suponga, por ejemplo, que las predicciones y' del modelo eran equitativas, pero que la decisión final la toma una persona (posiblemente con acceso a características adicionales) que puede modificar las predicciones del modelo para generar una versión nueva y final de y'. El procesamiento adicional por parte del humano puede denegar involuntariamente los préstamos a un número desproporcionado de una faceta. La DCAcc puede ayudar a detectar estos posibles sesgos.

El rango de valores para las diferencias en la aceptación condicional de etiquetas de facetas multicategoría, binarias y continuas es (-∞, +∞).

• Los valores positivos se producen cuando la relación entre el número observado de aceptaciones y las aceptaciones predichas para la faceta a es superior a la misma relación para la faceta d. Estos valores indican un posible sesgo en contra de los candidatos cualificados de la faceta a. Cuanto mayor sea la diferencia de las relaciones, más extremo será el sesgo aparente.

• Los valores cercanos a cero se producen cuando la relación entre el número observado de aceptaciones y las aceptaciones predichas para la faceta a es similar a la relación para la faceta d. Estos valores indican que las tasas de aceptación predichas son coherentes con los valores observados en los datos etiquetados y que los candidatos cualificados de ambas facetas están siendo aceptados de manera similar.

• Los valores negativos se producen cuando la relación entre el número observado de aceptaciones y las aceptaciones predichas para la faceta a es inferior a la misma relación para la faceta d. Estos valores indican un posible sesgo en contra de los candidatos cualificados de la faceta d. Cuanto más negativa sea la diferencia de las relaciones, más extremo será el sesgo aparente.