Messen Sie die Voreingenommenheit vor dem Training

Die Messung von Verzerrungen in ML-Modellen ist ein erster Schritt zur Minderung von Verzerrungen. Jedes Maß für Verzerrungen entspricht einem anderen Begriff von Fairness. Selbst die Berücksichtigung einfacher Fairnesskonzepte führt zu vielen verschiedenen Maßnahmen, die in verschiedenen Kontexten anwendbar sind. Denken Sie zum Beispiel an Fairness in Bezug auf das Alter und der Einfachheit halber daran, dass die beiden Bevölkerungsgruppen mittleren Alters und die übrigen Altersgruppen die beiden relevanten demografischen Feature sind, die als Facetten bezeichnet werden. Im Fall eines ML-Modells für die Kreditvergabe möchten wir vielleicht, dass Kredite für kleine Unternehmen an die gleiche Anzahl von Personen aus beiden Bevölkerungsgruppen vergeben werden. Oder bei der Bearbeitung von Stellenbewerbern möchten wir vielleicht, dass für jede demografische Gruppe die gleiche Anzahl von Auftragnehmer eingestellt wird. Bei diesem Ansatz kann jedoch davon ausgegangen werden, dass sich für diese Stellen die gleiche Anzahl von Personen aus beiden Altersgruppen bewerben, sodass wir möglicherweise von der Anzahl der Bewerbungen abhängig machen sollten. Außerdem sollten wir vielleicht nicht prüfen, ob die gleiche Anzahl von Bewerbern gilt, sondern ob wir die gleiche Anzahl qualifizierter Bewerber haben. Oder wir können Fairness als eine gleiche Annahmequote qualifizierter Bewerber für beide Altersgruppen oder eine gleiche Ablehnungsquote von Bewerbern oder beides betrachten. Sie können Datensätze mit unterschiedlichen Datenanteilen zu den interessierenden Attributen verwenden. Dieses Ungleichgewicht kann dazu führen, dass die von Ihnen gewählte Messgröße für die systematische Messgröße uneinheitlich ist. Die Modelle sind bei der Klassifizierung einer Facette möglicherweise genauer als bei der anderen. Daher müssen Sie Bias-Metriken wählen, die konzeptionell für die Anwendung und die Situation angemessen sind.

Wir verwenden die folgende Notation, um die Bias-Metriken zu erörtern. Das hier beschriebene konzeptionelle Modell dient der binären Klassifikation, bei der Ereignisse in ihrem Stichprobenraum so gekennzeichnet werden, dass sie nur zwei mögliche Ergebnisse haben, die als positiv (mit dem Wert 1) und negativ (mit dem Wert 0) bezeichnet werden. Dieser Rahmen lässt sich in der Regel auf einfache Weise auf eine Klassifizierung nach mehreren Kategorien oder bei Bedarf auf Fälle mit kontinuierlich bewerteten Ergebnissen ausdehnen. Bei der binären Klassifikation werden Ergebnissen, die in einem Rohdatensatz für eine bevorzugte Facet a und für eine benachteiligte Facet d aufgezeichnet wurden, positive und negative Markierungen zugewiesen. Diese Kennzeichnungen y werden als beobachtete Beschriftungen bezeichnet, um sie von den vorhergesagten Beschriftungen y' zu unterscheiden, die von einem Modell für Machine Learning während der Trainings- oder Inferenzphase des ML-Lebenszyklus zugewiesen werden. Diese Bezeichnungen werden verwendet, um die Wahrscheinlichkeitsverteilungen P_a(y) and P_d(y) für ihre jeweiligen Facetnergebnisse zu definieren.

• Beschriftungen:

  • y steht für die n beobachteten Beschriftungen für Ereignisergebnisse in einem Trainingsdatensatz.

  • y' steht für die von einem trainierten Modell vorhergesagten Markierungen für die n beobachteten Markierungen im Datensatz.

• Ergebnisse:

  • Ein positives Ergebnis (mit dem Wert 1) für eine Stichprobe, z. B. eine Annahme eines Antrags.

    • n⁽¹⁾ ist die Anzahl der beobachteten Markierungen für positive Ergebnisse (Zulassungen).

    • n'⁽¹⁾ ist die Anzahl der vorhergesagten Kennzeichnungen für positive Ergebnisse (Akzeptanz).

  • Ein negatives Ergebnis (mit dem Wert 0) für eine Stichprobe, z. B. eine Ablehnung eines Antrags.

    • n⁽⁰⁾ ist die Anzahl der beobachteten Markierungen für negative Ergebnisse (Ablehnungen).

    • n'⁽⁰⁾ ist die Anzahl der vorhergesagten Markierungen für negative Ergebnisse (Ablehnungen).

• Facetnwerte:

  • Facet a – Der Merkmalswert, der eine demografische Gruppe definiert, die von Vorurteilen bevorzugt wird.

    • n_a ist die Anzahl der beobachteten Beschriftungen für den bevorzugten Facetnwert: n_a = n_a⁽¹⁾ + n_a⁽⁰⁾ die Summe der positiven und negativen beobachteten Beschriftungen für den Wert Facet a.

    • n' _a ist die Anzahl der vorhergesagten Beschriftungen für den bevorzugten Facetnwert: n'_a = n'_a⁽¹⁾ + n'_a⁽⁰⁾ ist die Summe der positiven und negativen Kennzeichnungen für das vorhergesagte Ergebnis für den Facetnwert a. Beachten Sie n'_a = n_a.

  • facet d – Der Merkmalswert, der eine demografische Gruppe definiert, die tendenziell benachteiligt ist.

    • n_d ist die Anzahl der beobachteten Kennzeichnungen für den Facetnwert mit negativer Wirkung: n_d = n_d⁽¹⁾ + n_d⁽⁰⁾ ist die Summe der beobachteten positiven und negativen Kennzeichnungen für den Facetnwert d.

    • n'_d ist die Anzahl der vorhergesagten Markierungen für den Wert der negativen Facet: n'_d = n'_d⁽¹⁾ + n'_d⁽⁰⁾ die Summe der positiven und negativen vorhergesagten Markierungen für den Facetnwert d. Beachten Sie n'_d = n_d.

• Wahrscheinlichkeitsverteilungen für die Ergebnisse der markierten Facetndaten:

  • P_a(y) ist die Wahrscheinlichkeitsverteilung der beobachteten Markierungen für Facet a. Bei binär markierten Daten ergibt sich diese Verteilung aus dem Verhältnis der Anzahl der Stichproben in Facet a mit positiven Ergebnissen zur Gesamtzahl, P_a(y¹) = n_a⁽¹⁾/ n_a, und dem Verhältnis der Anzahl der Proben mit negativen Ergebnissen zur Gesamtzahl, P_a(y⁰) = n_a⁽⁰⁾/ n_a.

  • P _d(y) ist die Wahrscheinlichkeitsverteilung der beobachteten Markierungen für Facet d. Bei binär markierten Daten ergibt sich diese Verteilung aus der Anzahl der mit positiven Ergebnissen markierten Stichproben in der Facette d zur Gesamtzahl, P_d(y¹) = n_d⁽¹⁾/ n_d, und dem Verhältnis der Anzahl der Proben mit negativen Ergebnissen zur Gesamtzahl, P_d(y⁰) = n_d⁽⁰⁾/ n_d.

Modelle, die mit Daten trainiert wurden, die aufgrund demografischer Unterschiede verzerrt sind, könnten daraus lernen und diese sogar verschärfen. Um Verzerrungen in den Daten zu identifizieren, bevor Ressourcen aufgewendet werden, um Modelle darauf zu trainieren, stellt SageMaker Clarify Metriken zur Datenverzerrung bereit, die Sie vor dem Training anhand von Rohdatensätzen berechnen können. Alle Metriken vor dem Training sind modellunabhängig, da sie nicht von den Modellausgaben abhängen und daher für jedes Modell gültig sind. Die erste Bias-Metrik untersucht das Ungleichgewicht der Facetten, nicht aber die Ergebnisse. Sie bestimmt, inwieweit die Menge der Trainingsdaten für verschiedene Facetten repräsentativ ist, wie es für die Anwendung gewünscht wird. Bei den übrigen Bias-Metriken wird die Verteilung der Ergebniskennzeichnungen für die Facetten a und d in den Daten auf unterschiedliche Weise verglichen. Die Kennzahlen, die über negative Werte hinausgehen, können negative Verzerrungen erkennen. Die folgende Tabelle enthält einen Spickzettel zur schnellen Anleitung und Links zu den Messwerten für Verzerrungen vor dem Training.

Messwerte zu Verzerrungen vor dem Training

Bias-Metrik	Beschreibung	Beispiel für eine Frage	Interpretieren von metrischen Werten
Ungleichgewicht zwischen den Klassen (CI)	Misst das Ungleichgewicht in der Anzahl der Elemente zwischen verschiedenen Facettenwerten.	Könnte es zu altersbedingten Vorurteilen kommen, weil nicht genügend Daten für die demografische Gruppe außerhalb des mittleren Alters zur Verfügung stehen?	Normalisierter Bereich: [-1, +1] Interpretation: Positive Werte weisen darauf hin, dass die Facette a mehr Trainingsstichproben im Datensatz enthält. Werte nahe Null deuten darauf hin, dass die Anzahl der Trainingsstichproben im Datensatz ausgewogen ist. Negative Werte bedeuten, dass die Facette d mehr Trainingsstichproben im Datensatz enthält.
Unterschied in den Proportionen der Etiketten () DPL	Misst das Ungleichgewicht positiver Ergebnisse zwischen verschiedenen Facettenwerten.	Könnte es aufgrund einer verzerrten Kennzeichnung von Facettenwerten in den Daten zu altersbedingten Verzerrungen bei ML-Vorhersagen kommen?	Bereich für normalisierte binäre und mehrkategoriale Facettenbezeichnungen: [-1, +1] Bereich für fortlaufende Beschriftungen: (-∞, +∞) Interpretation Positive Werte weisen darauf hin, dass Facette a einen höheren Anteil an positiven Ergebnissen aufweist. Werte nahe Null deuten auf einen gleichmäßigeren Anteil positiver Ergebnisse zwischen den Facetten hin. Negative Werte weisen darauf hin, dass die Facette d einen höheren Anteil positiver Ergebnisse aufweist.
Kullback-Leibler-Divergenz (KL)	Misst, wie stark die Ergebnisverteilungen verschiedener Facetten entropisch voneinander abweichen.	Wie unterschiedlich sind die Verteilungen der Ergebnisse bei Kreditanträgen für verschiedene demografische Gruppen?	Bereich für binär, mehrkategorisch, kontinuierlich: [0, +∞) Interpretation Werte nahe Null deuten darauf hin, dass die Beschriftungen ähnlich verteilt sind. Positive Werte bedeuten, dass die Labelverteilungen divergieren. Je positiver, desto größer die Divergenz.
Jensen-Shannon-Divergenz (JS)	Misst, wie stark die Ergebnisverteilungen verschiedener Facetten entropisch voneinander abweichen.	Wie unterschiedlich sind die Verteilungen der Ergebnisse bei Kreditanträgen für verschiedene demografische Gruppen?	Bereich für binär, mehrkategorisch, kontinuierlich: [0, +∞) Interpretation Werte nahe Null deuten darauf hin, dass die Beschriftungen ähnlich verteilt sind. Positive Werte bedeuten, dass die Labelverteilungen divergieren. Je positiver, desto größer die Divergenz.
Lp-Norm (LP)	Misst einen Unterschied nach der P-Norm zwischen unterschiedlichen demografischen Verteilungen der Ergebnisse, die mit verschiedenen Facetten in einem Datensatz verknüpft sind.	Wie unterschiedlich sind die Verteilungen der Ergebnisse bei Kreditanträgen für verschiedene demografische Gruppen?	Bereich für binär, mehrkategorisch, kontinuierlich: [0, +∞) Interpretation Werte nahe Null deuten darauf hin, dass die Beschriftungen ähnlich verteilt sind. Positive Werte bedeuten, dass die Beschriftungsverteilungen divergieren. Je positiver, desto größer die Divergenz.
Entfernung der gesamten Variation () TVD	Misst die Hälfte des L1-Normunterschieds zwischen unterschiedlichen demografischen Verteilungen der Ergebnisse, die mit verschiedenen Facetten in einem Datensatz verknüpft sind.	Wie unterschiedlich sind die Verteilungen der Ergebnisse bei Kreditanträgen für verschiedene Bevölkerungsgruppen?	Bereich für binäre, mehrkategoriale und kontinuierliche Ergebnisse: [0, +∞) Werte nahe Null deuten darauf hin, dass die Beschriftungen ähnlich verteilt sind. Positive Werte bedeuten, dass die Beschriftungsverteilungen divergieren. Je positiver, desto größer die Divergenz.
Kolmogorow-Smirnow (KS)	Misst die maximale Divergenz zwischen den Ergebnissen bei Verteilungen für verschiedene Facetten in einem Datensatz.	Bei welchen Ergebnissen der Hochschulbewerbung bestehen die größten Unterschiede nach demografischen Gruppen?	Bereich der KS-Werte für binäre, mehrkategoriale und kontinuierliche Ergebnisse: [0, +1] Werte nahe Null deuten darauf hin, dass die Beschriftungen in allen Ergebniskategorien gleichmäßig auf die Facetten verteilt waren. Werte nahe eins deuten darauf hin, dass die Bezeichnungen für eine Kategorie alle in einer Facette aufwiesen, also sehr unausgewogen waren. Intermittierende Werte deuten auf das relative Ausmaß des maximalen Ungleichgewichts zwischen den Bezeichnungen hin.
Bedingte demografische Disparität () CDD	Misst die Ungleichheit der Ergebnisse zwischen verschiedenen Facetten insgesamt, aber auch nach Untergruppen.	Haben einige Gruppen einen höheren Anteil an Ablehnungen aufgrund von Hochschulzulassungsergebnissen als ihr Anteil an Zulassungen?	Bereich vonCDD: [-1, +1] Positive Werte deuten auf ein Ergebnis hin, bei dem Facette d mehr abgelehnt als akzeptiert wurde. Nahe Null bedeutet, dass es im Durchschnitt keine demografische Ungleichheit gibt. Negative Werte deuten auf Ergebnisse hin, bei denen Facette a mehr abgelehnt als akzeptiert wurde.

Weitere Informationen zu Bias-Metriken finden Sie unter Fairness Measures for Machine Learning in Finance.

Themen

• Ungleichgewicht zwischen den Klassen (CI)
• Unterschied in den Proportionen der Etiketten () DPL
• Kullback-Leibler-Divergenz (KL)
• Jensen-Shannon-Divergenz (JS)
• Lp-Norm (LP)
• Entfernung der gesamten Variation () TVD
• Kolmogorow-Smirnow (KS)
• Bedingte demografische Disparität () CDD