Was ist Fairness und Modellerklärbarkeit für Vorhersagen für Machine Learning? - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was ist Fairness und Modellerklärbarkeit für Vorhersagen für Machine Learning?

Amazon SageMaker Clarify hilft, Ihre Modelle für maschinelles Lernen (ML) zu verbessern, indem es potenzielle Voreingenommenheit erkennt und hilft, die Vorhersagen zu erklären, die Modelle treffen. Es hilft Ihnen, verschiedene Arten von Bias in Vortrainingsdaten und im Posttraining zu identifizieren, die während des Modelltrainings oder bei der Produktion des Modells entstehen können. SageMaker Clarify erklärt, wie diese Modelle Vorhersagen mit einem Feature-Attribution-Ansatz treffen. Es überwacht auch Schlussfolgerungen, die Modelle in der Produktion auf Bias oder Feature-Attribution Drift machen. Die Fairness- und Erklärbarkeitsfunktionalität von SageMaker Clarify bietet Komponenten, die helfenAWSKunden bauen weniger voreingenommene und verständlichere Machine Learning-Modelle. Es bietet auch Tools, mit denen Sie Modell-Governance-Berichte erstellen können, mit denen Sie Risiko- und Compliance-Teams sowie externe Aufsichtsbehörden informieren können.

Modelle des maschinellen Lernens und datengesteuerte Systeme werden zunehmend verwendet, um Entscheidungen über Bereiche wie Finanzdienstleistungen, Gesundheitswesen, Bildung und Personalwesen hinweg zu treffen. Anwendungen für maschinelles Lernen bieten Vorteile wie verbesserte Genauigkeit, erhöhte Produktivität und Kosteneinsparungen, um regulatorische Anforderungen zu erfüllen, Geschäftsentscheidungen zu verbessern und bessere Einblicke in datenwissenschaftliche Verfahren zu geben.

  • Regulatorische- In vielen Situationen ist es wichtig zu verstehen, warum ein ML-Modell eine bestimmte Vorhersage gemacht hat und ob die Vorhersage, die es gemacht hat, durch irgendeine Voreingenommenheit beeinflusst wurde, entweder während des Trainings oder bei Schlussfolgerungen. In jüngster Zeit haben politische Entscheidungsträger, Aufsichtsbehörden und Befürworter das Bewusstsein für die ethischen und politischen Herausforderungen von ML und datengesteuerten Systemen geschärft. Insbesondere haben sie Bedenken hinsichtlich der potenziell diskriminierenden Auswirkungen solcher Systeme geäußert (z. B. versehentlich die Kodierung von Voreingenommenheit in automatisierte Entscheidungen).

  • Geschäft— Die Einführung von KI-Systemen in regulierten Domänen erfordert Vertrauen, das durch zuverlässige Erklärungen zum Verhalten geschulter Modelle und wie die bereitgestellten Modelle Vorhersagen treffen, aufgebaut werden kann. Die Erklärbarkeit von Modellen kann für bestimmte Branchen mit Anforderungen an Zuverlässigkeit, Sicherheit und Compliance besonders wichtig sein, wie Finanzdienstleistungen, Humanressourcen, Gesundheitswesen und automatisierter Transport. Um ein gemeinsames finanzielles Beispiel zu nehmen, müssen Kreditanträge, die die Verwendung von ML-Modellen beinhalten, möglicherweise Erklärungen darüber liefern, wie diese Modelle zusätzlich zu Endverbraucher/Kunden internen Teams von Kreditleitern, Kundendienstmitarbeitern und Prognostikern bestimmte Vorhersagen gemacht haben.

  • Data Science- Datenwissenschaftler und ML-Ingenieure benötigen Tools, um die Erkenntnisse zu generieren, die erforderlich sind, um ML-Modelle durch besseres Feature-Engineering zu debuggen und zu verbessern, um festzustellen, ob ein Modell basierend auf lauten oder irrelevanten Merkmalen Schlussfolgerungen zieht, und um die Einschränkungen ihrer Modelle und Ausfallmodi zu verstehen Modelle können begegnen.

Ein Blog, der zeigt, wie man einen vollständigen Anwendungsfall für maschinelles Lernen mit betrügerischen Kfz-Ansprüchen erstellt und erstellt, die SageMaker Clarify in eine SageMaker-Pipeline integrieren, finden Sie in derArchitekten und bauen Sie den gesamten Lebenszyklus für maschinelles Lernen mitAWS: Ein durchgehender Amazon SageMaker-Demo. In diesem Blog wird erläutert, wie die Voreingenommenheit vor und nach dem Training bewertet werden kann, wie die Voreingenommenheit gemindert werden kann und wie sich die Datenmerkmale auf die Vorhersage auswirken. Es gibt Links zum relevanten Code für jede Aufgabe im ML-Lebenszyklus, einschließlich der Erstellung eines automatisierten Workflows, der die Fairness- und Erklärungsfunktionalität von SageMaker Clarify in eine SageMaker Pipeline integriert.

Best Practices zur Bewertung von Fairness und Erklärbarkeit im ML-Lebenszyklus

Fairness als Prozess— Die Vorstellungen von Voreingenommenheit und Fairness hängen stark von der Anwendung ab. Darüber hinaus muss sich die Wahl der Attribute, für die Bias gemessen werden soll, sowie die Wahl der Bias-Metriken möglicherweise von sozialen, rechtlichen und anderen nicht-technischen Überlegungen orientieren. Der Aufbau eines Konsenses und die Erreichung einer Zusammenarbeit zwischen wichtigen Interessengruppen (wie Produkt-, Richtlinien-, Rechts-, Engineering- und KI/ML-Teams sowie Endbenutzern und Communities) ist Voraussetzung für die erfolgreiche Einführung fairnessbewusster ML-Ansätze in der Praxis.

Fairness und Erklärbarkeit durch Design im ML Lifecycle— Sie sollten Fairness und Erklärbarkeit in jeder Phase des ML-Lebenszyklus berücksichtigen: Problembildung, Datensatzaufbau, Algorithmusauswahl, Modellschulungsprozess, Testprozess, Bereitstellung und Überwachung/Feedback. Es ist wichtig, über die richtigen Tools zu verfügen, um diese Analyse durchzuführen. Um die Auseinandersetzung mit diesen Überlegungen zu fördern, finden Sie hier einige Beispielfragen, die wir Ihnen in jeder dieser Phasen empfehlen.


                Best Practices für den Prozess der Bewertung von Fairness und Modellerklärbarkeit.

Beispiel-Notebooks

Amazon SageMaker Clarify bietet die folgenden Beispiel-Notebooks:

Diese Notebooks wurden überprüft, dass sie nur in Amazon SageMaker Studio ausgeführt werden. Wenn Sie Anleitungen zum Öffnen eines Notebooks in Amazon SageMaker Studio benötigen, lesen Sie unterErstellen oder Öffnen Sie ein Amazon SageMaker Studio-Notizbuchaus. Wenn Sie aufgefordert werden, einen Kernel auszuwählen, wählen SiePython 3 (Data Science)aus.

Leitfaden zur SageMaker Clarify Dokumentation

Bias kann in jeder Phase des Lebenszyklus des maschinellen Lernens auftreten und in den Daten gemessen werden: vor dem Training eines Modells und nach dem Modelltraining. SageMaker Clarify kann Feature-Attribution Erklärungen zu Modellvorhersagen für geschulte Modelle und für Modelle liefern, die in der Produktion eingesetzt werden, bei denen Modelle auf jede Abweichung von ihren grundlegenden erklärenden Zuweisungen überwacht werden können. Clarify berechnet Baselines bei Bedarf. Die Dokumentation für SageMaker Clarify ist in die größere SageMaker-Dokumentation eingebettet, die in den entsprechenden ML-Phasen wie folgt festgelegt ist: