Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Esta métrica compara las etiquetas observadas con las etiquetas predichas por el modelo y evalúa si esto es lo mismo en todas las facetas para los resultados negativos (rechazos). Esta métrica se aproxima al sesgo humano, ya que cuantifica cuántos resultados negativos más predijo un modelo (etiquetas predichas y') para una faceta determinada en comparación con lo sugerido por las etiquetas en el conjunto de datos de entrenamiento (etiquetas predichas y). Por ejemplo, si se observaran más rechazos (un resultado negativo) para las solicitudes de préstamos para un grupo de mediana edad (faceta a) de lo previsto por el modelo basado en cualificaciones, en comparación con la faceta que contiene otros grupos de edad (faceta d), esto podría indicar un posible sesgo en la forma en que se rechazan los préstamos en favor del grupo de mediana edad frente a otros grupos.
La fórmula para la diferencia en la aceptación condicional:
DCR = rd - ra
Donde:
-
rd = nd(0)/ n'd(0) es la relación entre el número observado de resultados negativos del valor 0 (rechazos) de la faceta d y el número previsto de resultados negativos (rechazos) de la faceta d.
-
ra = na(0)/ n'a(0) es la relación entre el número observado de resultados negativos del valor 0 (rechazos) de la faceta a y el número previsto de resultados negativos de valor 0 (rechazos) de la faceta a.
La métrica DCR puede captar sesgos tanto positivos como negativos que revelan un trato preferencial basado en las cualificaciones. Considere los siguientes casos de sesgo basado en la edad en el rechazo de préstamos.
Ejemplo 1: sesgo positivo
Suponga que tenemos un conjunto de datos de 100 personas de mediana edad (faceta a) y 50 personas de otros grupos de edad (faceta d) que solicitaron préstamos, y que el modelo recomendó que se rechazaran los préstamos a 60 de la faceta a y 30 de la faceta d. Es decir, las proporciones predichas no están sesgadas por la métrica DPPL, pero las etiquetas observadas muestran que se rechazaron los préstamos a 50 de la faceta a y a 40 de la faceta d. En otras palabras, el modelo rechazó préstamos a un 17 % más de la faceta de mediana edad de lo que sugerían las etiquetas observadas en los datos de entrenamiento (50/60 = 0,83) y rechazó préstamos a un 33 % menos de personas de otros grupos de edad de lo que sugerían las etiquetas observadas (40/30 = 1,33). El valor de DCR cuantifica esta diferencia en la relación entre las tasas de rechazo observadas y las previstas entre las facetas. El valor positivo indica que existe un posible sesgo a favor del grupo de mediana edad, con tasas de rechazo más bajas en comparación con otros grupos de lo que los datos observados (tomados como no sesgados) indican que es el caso.
DCR = 40/30 - 50/60 = 1/2
Ejemplo 2: sesgo negativo
Suponga que tenemos un conjunto de datos de 100 personas de mediana edad (faceta a) y 50 personas de otros grupos de edad (faceta d) que solicitaron préstamos, y que el modelo recomendó que se rechazaran los préstamos a 60 de la faceta a y 30 de la faceta d. Es decir, las proporciones predichas no están sesgadas por la métrica DPPL, pero las etiquetas observadas muestran que se rechazaron los préstamos a 70 de la faceta a y a 20 de la faceta d. En otras palabras, el modelo rechazó préstamos a un 17 % menos de la faceta de mediana edad de lo que sugerían las etiquetas observadas en los datos de entrenamiento (70/60 = 1,17)) y rechazó préstamos a un 33 % más de personas de otros grupos de edad de lo que sugerían las etiquetas observadas (20/30 = 0,67). El valor negativo indica que existe un posible sesgo a favor de la faceta a, con una tasa de rechazo más baja en comparación con la faceta a de mediana edad de lo que los datos observados (tomados como no sesgados) indican que es el caso.
DCR = 20/30 - 70/60 = -1/2
El rango de valores para las diferencias en el rechazo condicional de etiquetas de facetas multicategoría, binarias y continuas es (-∞, +∞).
-
Los valores positivos se producen cuando la relación entre el número observado de rechazos y los rechazos predichos para la faceta d es superior a la misma relación para la faceta a. Estos valores indican un posible sesgo en contra de los candidatos cualificados de la faceta a. Cuanto mayor sea el valor de la métrica DCR, más extremo será el sesgo aparente.
-
Los valores cercanos a cero se producen cuando la relación entre el número observado de rechazos y los rechazos predichos para la faceta a es similar a la relación para la faceta d. Estos valores indican que las tasas de rechazo predichas son coherentes con los valores observados en los datos etiquetados y que los candidatos cualificados de ambas facetas están siendo rechazados de manera similar.
-
Los valores negativos se producen cuando la relación entre el número observado de rechazos y los rechazos predichos para la faceta d es inferior a la misma relación para la faceta a. Estos valores indican un posible sesgo en contra de los candidatos cualificados de la faceta d. Cuanto mayor sea la magnitud de la métrica DCR negativa, más extremo será el sesgo aparente.
