Differenza nell'accettazione condizionata () DCAcc

Questa metrica confronta le etichette osservate con le etichette previste da un modello e valuta se questa è la stessa in tutti i facet per quanto riguarda gli esiti positivi previsti. Questa metrica si avvicina a imitare distorsione umane poiché quantifica quanti risultati positivi in più ha previsto un modello (etichette y') per un determinato facet rispetto a quanto osservato nel set di dati di addestramento (etichette y). Ad esempio, se nel set di dati di addestramento per le domande di prestito per un gruppo di mezza età (facet a) si osservassero più accettazioni (un risultato positivo) rispetto a quanto previsto dal modello basato sulle qualifiche rispetto al facet contenente altre fasce di età (facet d), ciò potrebbe indicare una potenziale distorsione nel modo in cui i prestiti sono stati approvati a favore del gruppo di mezza età.

La formula per la differenza nell'accettazione condizionale è la seguente:

        DCAcc_a= c - c _d

Dove:

• c_a = n_a⁽¹⁾/ n'_a⁽¹⁾ è il rapporto tra il numero osservato di esiti positivi del valore 1 (accettazioni) del facet a e il numero previsto di risultati positivi (accettazioni) per il facet a.

• c_d = n_d⁽¹⁾/ n'_d⁽¹⁾ è il rapporto tra il numero osservato di esiti positivi del valore 1 (accettazioni) del facet d e il numero previsto di esiti positivi previsti (accettazioni) per il facet d.

La DCAcc metrica può rilevare pregiudizi sia positivi che negativi che rivelano un trattamento preferenziale basato sulle qualifiche. Considera i seguenti esempi di distorsioni basati sull'età nell'accettazione dei prestiti.

Esempio 1: distorsione positiva

Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet a) e 50 persone di altre fasce d'età (facet d) che hanno richiesto prestiti, laddove il modello consigliasse di concedere prestiti a 60 persone del facet a e 30 per il facet d. Le proporzioni previste sono quindi imparziali rispetto alla DPPL metrica, ma le etichette osservate mostrano che 70 prestiti della fascia a e 20 della facet d sono stati concessi prestiti. In altre parole, il modello ha concesso prestiti al 17% in meno per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (70/60 = 1,17) e ha concesso prestiti per il 33% in più ad altre fasce di età rispetto alle etichette osservate (20/30 = 0,67). Il calcolo del valore dà quanto segue: DCAcc

        DCAcc= 70/60 - 20/30 = 1/2

Il valore positivo indica che esiste una potenziale distorsione nei confronti del facet a di mezza età con un tasso di accettazione inferiore rispetto all'altro facet d rispetto a quanto indicato dai dati osservati (considerati imparziali).

Esempio 2: distorsione negativa

Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet a) e 50 persone di altre fasce d'età (facet d) che hanno richiesto prestiti, laddove il modello consigliasse di concedere prestiti a 60 persone del facet a e 30 per il facet d. Quindi le proporzioni previste sono imparziali rispetto alla DPPL metrica, ma le etichette osservate mostrano che 50 della faccetta a e 40 della faccetta d sono stati concessi prestiti. In altre parole, il modello ha concesso prestiti al 17% in meno per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (50/60 = 0,83) e ha concesso prestiti per il 33% in più ad altre fasce di età rispetto alle etichette osservate (40/30 = 1,33). Il calcolo del valore dà quanto segue: DCAcc

        DCAcc= 50/60 - 40/30 = -1/2

Il valore negativo indica che esiste una potenziale distorsione nei confronti del facet d con un tasso di accettazione inferiore rispetto al facet a di mezza età rispetto a quanto indicato dai dati osservati (considerati imparziali).

Tieni presente che puoi utilizzarlo DCAcc per aiutarti a rilevare potenziali pregiudizi (non intenzionali) da parte di esseri umani che supervisionano le previsioni del modello in un ambiente. human-in-the-loop Supponiamo, ad esempio, che le previsioni y' fornite dal modello fossero imparziali, ma che la decisione finale venga presa da un essere umano (possibilmente con accesso a funzionalità aggiuntive) che può modificare le previsioni del modello per generare una nuova e definitiva versione di y'. L'ulteriore elaborazione da parte dell'essere umano può negare involontariamente prestiti a un numero sproporzionato da un facet. DCAccpuò aiutare a rilevare tali potenziali pregiudizi.

L'intervallo di valori per le differenze nell'accettazione condizionata per le etichette del facet binarie, multicategoria e continue è (-∞, +∞).

• I valori positivi si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet a è superiore allo stesso rapporto per il facet d. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati a causa del facet a. Maggiore è la differenza tra i rapporti, più estrema è la distorsione apparente.

• I valori prossimi allo zero si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet a è simile al rapporto per il facet d. Questi valori indicano che i tassi di accettazione previsti sono coerenti con i valori osservati nei dati etichettati e che i richiedenti qualificati di entrambi i facet vengono accettati in modo analogo.

• I valori negativi si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet a è inferiore al rapporto per il facet d. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati derivante dal facet d. Quanto più negativa è la differenza tra i rapporti, più estrema è la distorsione apparente.