Medir o desvio de pré-treinamento

Medir o desvio em modelos de ML é o primeiro passo para mitigar o desvio. Cada medida de desvio corresponde a uma noção diferente de equidade. Até mesmo considerar conceitos simples de equidade leva a muitas medidas diferentes aplicáveis em vários contextos. Por exemplo, considere a equidade em relação à idade e, para simplificar, que a meia-idade e o restante das faixas etárias são os dois grupos demográficos relevantes, chamados de facetas. No caso de um modelo de ML para empréstimos, podemos querer que empréstimos para pequenas empresas sejam emitidos para números iguais de ambos os grupos demográficos. Ou, ao processar candidatos a emprego, talvez queiramos ver números iguais de membros de cada grupo demográfico contratado. No entanto, essa abordagem pode presumir que números iguais de ambas as faixas etárias se aplicam a esses empregos, portanto, podemos querer condicionar o número de candidatos. Além disso, podemos considerar não se números iguais se candidatam, mas se temos um número igual de candidatos qualificados. Ou podemos considerar a equidade como uma taxa de aceitação igual de candidatos qualificados em ambas as faixas etárias, ou uma taxa igual de rejeição de candidatos, ou ambas. Você pode usar conjuntos de dados com diferentes proporções de dados sobre os atributos de interesse. Esse desequilíbrio pode confundir a medida de desvio que você escolher. Os modelos podem ser mais precisos na classificação de uma faceta do que na outra. Portanto, você precisa escolher métricas de desvio que sejam conceitualmente apropriadas para a aplicação e a situação.

Usamos a notação a seguir para discutir as métricas de desvio. O modelo conceitual descrito aqui é para classificação binária, em que os eventos são rotulados como tendo apenas dois resultados possíveis em seu espaço amostral, chamados de positivos (com valor 1) e negativos (com valor 0). Esse framework geralmente é extensível à classificação multicategórica de forma direta ou a casos que envolvem resultados contínuos valiosos, quando necessário. No caso da classificação binária, rótulos positivos e negativos são atribuídos aos resultados registrados em um conjunto de dados bruto para uma faceta favorecida a e para uma faceta desfavorecida d. Esses rótulos y são chamados de rótulos observados para diferenciá-los dos rótulos previstos y' que são atribuídos por um modelo de machine learning durante os estágios de treinamento ou inferências do ciclo de vida do ML. Esses rótulos são usados para definir distribuições de probabilidade P_a(y) e P_d(y) para seus respectivos resultados facetários.

• rótulos:

  • y representa os n rótulos observados para resultados de eventos em um conjunto de dados de treinamento.

  • y' representa os rótulos previstos para os n rótulos observados no conjunto de dados por um modelo treinado.

• resultados:

  • Um resultado positivo (com valor 1) para uma amostra, como a aceitação de uma candidatura.

    • n⁽¹⁾ é o número de rótulos observados para resultados positivos (aceitações).

    • n'⁽¹⁾ é o número de rótulos previstos para resultados positivos (aceitações).

  • Um resultado negativo (com valor 0) para uma amostra, como uma rejeição de candidatura.

    • n⁽⁰⁾ é o número de rótulos observados para resultados negativos (rejeições).

    • n'⁽⁰⁾ é o número de rótulos previstos para resultados negativos (rejeições).

• valores da faceta:

  • faceta a — O valor da característica que define um grupo demográfico que o desvio favorece.

    • n_a é o número de rótulos observados para o valor da faceta favorecido: n_a = n_a⁽¹⁾ + n_a⁽⁰⁾ a soma dos rótulos observados positivos e negativos para a faceta de valor a.

    • n'_a é o número de rótulos previstos para o valor da faceta favorecido: n'_a = n'_a⁽¹⁾ + n'_a⁽⁰⁾ a soma dos rótulos de resultados previstos positivos e negativos para a faceta de valor a. Observe que n'_a = n_a.

  • faceta d — O valor da característica que define um grupo demográfico que o desvio desfavorece.

    • n_d é o número de rótulos observados para o valor da faceta desfavorecido: n_d = n_d⁽¹⁾ + n_d⁽⁰⁾ a soma dos rótulos observados positivos e negativos para a faceta de valor d.

    • n'_d é o número de rótulos previstos para o valor da faceta desfavorecido: n'_d = n'_d⁽¹⁾ + n'_d⁽⁰⁾ a soma dos rótulos previstos positivos e negativos para a faceta de valor d. Observe que n'_d = n_d.

• distribuições de probabilidade para resultados dos resultados dos dados facetários rotulados:

  • P_a(y) é a distribuição de probabilidade dos rótulos observados para a faceta a. Para dados binários rotulados, essa distribuição é dada pela razão entre o número de amostras na faceta a rotulada com resultados positivos e o número total, P_a(y¹) = n_a⁽¹⁾/ n_a, e a razão entre o número de amostras com resultados negativos e o número total, P_a(y⁰) = n_a⁽⁰⁾/ n_a.

  • P_d(y) é a distribuição de probabilidade dos rótulos observados para a faceta d. Para dados binários rotulados, essa distribuição é dada pelo número de amostras na faceta d rotulada com resultados positivos e o número total, P_d(y¹) = n_d⁽¹⁾/ n_d, e a razão entre o número de amostras com resultados negativos e o número total, P_d(y⁰) = n_d⁽⁰⁾/ n_d.

Modelos treinados em dados tendenciosos por disparidades demográficas podem aprendê-las e até mesmo exacerbá-las. Para identificar o viés nos dados antes de gastar recursos para treinar modelos neles, o SageMaker Clarify fornece métricas de distorção de dados que você pode calcular em conjuntos de dados brutos antes do treinamento. Todas as métricas de pré-treinamento são independentes do modelo porque não dependem dos resultados do modelo e, portanto, são válidas para qualquer modelo. A primeira métrica de desvio examina o desequilíbrio facetário, mas não os resultados. Ela determina até que ponto a quantidade de dados de treinamento é representativa em diferentes facetas, conforme desejado para o aplicativo. As métricas de desvio restantes comparam a distribuição dos rótulos de resultados de várias maneiras para as facetas a e d nos dados. As métricas que variam acima dos valores negativos podem detectar desvios negativos. A tabela a seguir contém uma folha de dicas para orientação rápida e links para as métricas de desvio de pré-treinamento.

Métricas de desvio pré-treinamento

Métrica de desvio	Descrição	Exemplo de pergunta	Interpretar valores de métricas
Desequilíbrio de classes (CI)	Mede o desequilíbrio no número de membros entre diferentes valores de faceta.	Pode haver desvios baseados na idade devido à falta de dados demográficos fora de uma faceta de meia-idade?	Intervalo normalizado: [-1, +1] Interpretação: Valores positivos indicam que a faceta a tem mais amostras de treinamento no conjunto de dados. Valores próximos de zero indicam que as facetas estão equilibradas no número de amostras de treinamento no conjunto de dados. Valores negativos indicam que a faceta d tem mais amostras de treinamento no conjunto de dados.
Diferença nas proporções dos rótulos (DPL)	Mede o desequilíbrio nos resultados positivos entre diferentes valores de faceta.	Pode haver desvios com base na idade nas previsões de ML devido à rotulagem tendenciosa dos valores das facetas nos dados?	Intervalo para rótulos de facetas binários e multicategóricos normalizados: [-1, +1] Intervalo para rótulos contínuos: (-∞, +∞) Interpretação: Valores positivos indicam que a faceta a tem uma proporção maior de resultados positivos. Valores próximos de zero indicam uma proporção mais uniforme de resultados positivos entre as facetas. Valores negativos indicam que a faceta d tem uma proporção maior de resultados positivos.
Divergência de Kullback-Leibler (KL)	Mede o quanto as distribuições de resultados de diferentes facetas divergem entre si entropicamente.	Quão diferentes são as distribuições dos resultados dos pedidos de empréstimo para diferentes grupos demográficos?	Intervalo para binário, multicategórico, contínuo: [0, +∞) Interpretação: Valores próximos de zero indicam que os rótulos estão distribuídos de forma semelhante. Valores positivos indicam que as distribuições dos rótulos divergem; quanto mais positivas, maior a divergência.
Divergência de Jensen-Shannon (JS)	Mede o quanto as distribuições de resultados de diferentes facetas divergem entre si entropicamente.	Quão diferentes são as distribuições dos resultados dos pedidos de empréstimo para diferentes grupos demográficos?	Intervalo para binário, multicategórico, contínuo: [0, +∞) Interpretação: Valores próximos de zero indicam que os rótulos estão distribuídos de forma semelhante. Valores positivos indicam que as distribuições dos rótulos divergem; quanto mais positivas, maior a divergência.
Norma Lp (LP)	Mede a diferença da norma p entre distribuições demográficas distintas dos resultados associados a diferentes facetas em um conjunto de dados.	Quão diferentes são as distribuições dos resultados dos pedidos de empréstimo para diferentes grupos demográficos?	Intervalo para binário, multicategórico, contínuo: [0, +∞) Interpretação: Valores próximos de zero indicam que os rótulos estão distribuídos de forma semelhante. Valores positivos indicam que as distribuições dos rótulos divergem; quanto mais positivas, maior a divergência.
Distância de variação total (TVD)	Mede metade da diferença da norma L1 entre distribuições demográficas distintas dos resultados associados a diferentes facetas em um conjunto de dados.	Quão diferentes são as distribuições dos resultados dos pedidos de empréstimo para diferentes grupos demográficos?	Intervalo para resultados binários, multicategóricos, contínuos: [0, +∞) Valores próximos de zero indicam que os rótulos estão distribuídos de forma semelhante. Valores positivos indicam que as distribuições dos rótulos divergem; quanto mais positivas, maior a divergência.
Kolmogorov-Smirnov (KS)	Mede a divergência máxima entre os resultados nas distribuições para diferentes facetas em um conjunto de dados.	Quais resultados de candidatura em faculdades manifestam as maiores disparidades por grupo demográfico?	Intervalo de valores de KS para resultados binários, multicategóricos e contínuos: [0, +1] Valores próximos de zero indicam que os rótulos foram distribuídos uniformemente entre as facetas em todas as categorias de resultados. Valores próximos a um indicam que os rótulos de uma categoria estavam todos em uma faceta, portanto, muito desequilibrados. Valores intermitentes indicam graus relativos de desequilíbrio máximo do rótulo.
Disparidade demográfica condicional () CDD	Mede a disparidade de resultados entre diferentes facetas como um todo, mas também por subgrupos.	Alguns grupos têm uma proporção maior de rejeições nos resultados de admissão na faculdade do que a proporção de aceitações?	Intervalo deCDD: [-1, +1] Valores positivos indicam um resultado em que a faceta d é mais rejeitada do que aceita. Valores próximos de zero indicam que, em média, não há disparidade demográfica. Valores negativos indicam um resultado em que a faceta a é mais rejeitada do que aceita.

Para obter informações adicionais sobre métricas de desvio, consulte Medidas de equidade para Machine Learning em finanças.

Tópicos

• Desequilíbrio de classes (CI)
• Diferença nas proporções dos rótulos (DPL)
• Divergência de Kullback-Leibler (KL)
• Divergência de Jensen-Shannon (JS)
• Norma Lp (LP)
• Distância de variação total (TVD)
• Kolmogorov-Smirnov (KS)
• Disparidade demográfica condicional () CDD