Was ist Fairness und Modellerklärbarkeit für Vorhersagen für Machine Learning? - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was ist Fairness und Modellerklärbarkeit für Vorhersagen für Machine Learning?

Amazon SageMaker Clarify hilft dabei, Ihre Machine-Learning-Modelle (ML) zu verbessern, indem es potenzielle Voreingenommenheit erkennt und die von Modellen getätigten Prognosen erläutert. Es hilft Ihnen, verschiedene Arten von Bias in Vortrainingsdaten und im Posttraining zu identifizieren, die während des Modelltrainings oder bei der Produktion des Modells entstehen können. SageMaker Clarify hilft mit der Zuordnung von Funktionen zu erläutern, wie diese Modelle Prognosen erstellen. Es überwacht auch Inferenzen, zu denen es bei in der Produktion eingenommenen Modellen kommt, auf eine Drift der Funktionszuordnung. Die Fairness- und Erklärbarkeitsfunktionalität von SageMaker Clarify bietet Komponenten, die helfenAWSKunden bauen weniger voreingenommene und verständlichere Machine Learning-Modelle. Sie bietet auch Tools, mit denen Sie Modell-Governance-Berichte zur Information von Risiko- und Compliance-Teams sowie externer Aufsichtsbehörden erstellen können.

Modelle des maschinellen Lernens und datengesteuerte Systeme werden zunehmend verwendet, um Entscheidungen über Bereiche wie Finanzdienstleistungen, Gesundheitswesen, Bildung und Personalwesen hinweg zu treffen. Anwendungen für maschinelles Lernen bieten Vorteile wie verbesserte Genauigkeit, erhöhte Produktivität und Kosteneinsparungen, um regulatorische Anforderungen zu erfüllen, Geschäftsentscheidungen zu verbessern und bessere Einblicke in datenwissenschaftliche Verfahren zu geben.

  • Regulatorische- In vielen Situationen ist es wichtig zu verstehen, warum ein ML-Modell eine bestimmte Vorhersage gemacht hat und ob die Vorhersage, die es gemacht hat, durch irgendeine Voreingenommenheit beeinflusst wurde, entweder während des Trainings oder bei Schlussfolgerungen. In jüngster Zeit haben politische Entscheidungsträger, Aufsichtsbehörden und Befürworter das Bewusstsein für die ethischen und politischen Herausforderungen von ML und datengesteuerten Systemen geschärft. Insbesondere haben sie Bedenken hinsichtlich der potenziell diskriminierenden Auswirkungen solcher Systeme geäußert (z. B. versehentlich die Kodierung von Voreingenommenheit in automatisierte Entscheidungen).

  • Geschäft— Die Einführung von KI-Systemen in regulierten Domänen erfordert Vertrauen, das durch zuverlässige Erklärungen zum Verhalten geschulter Modelle und wie die bereitgestellten Modelle Vorhersagen treffen, aufgebaut werden kann. Die Erklärbarkeit von Modellen kann für bestimmte Branchen mit Anforderungen an Zuverlässigkeit, Sicherheit und Compliance besonders wichtig sein, wie Finanzdienstleistungen, Humanressourcen, Gesundheitswesen und automatisierter Transport. Um ein gemeinsames finanzielles Beispiel zu nehmen, müssen Kreditanträge, die die Verwendung von ML-Modellen beinhalten, möglicherweise Erklärungen darüber liefern, wie diese Modelle zusätzlich zu Endverbraucher/Kunden internen Teams von Kreditleitern, Kundendienstmitarbeitern und Prognostikern bestimmte Vorhersagen gemacht haben.

  • Data Science- Datenwissenschaftler und ML-Ingenieure benötigen Tools, um die Erkenntnisse zu generieren, die erforderlich sind, um ML-Modelle durch besseres Feature-Engineering zu debuggen und zu verbessern, um festzustellen, ob ein Modell basierend auf lauten oder irrelevanten Merkmalen Schlussfolgerungen zieht, und um die Einschränkungen ihrer Modelle und Ausfallmodi zu verstehen Modelle können begegnen.

Ein Blog, der zeigt, wie man einen vollständigen Anwendungsfall für maschinelles Lernen mit betrügerischen Kfz-Ansprüchen erstellt und erstellt, die SageMaker Clarify in eine SageMaker-Pipeline integrieren, finden Sie in derArchitekten und bauen Sie den gesamten Lebenszyklus für maschinelles Lernen mitAWS: Ein End-to-End-Amazon SageMaker-Demo. In diesem Blog wird erläutert, wie die Voreingenommenheit vor und nach dem Training bewertet werden kann, wie die Voreingenommenheit gemindert werden kann und wie sich die Datenmerkmale auf die Vorhersage auswirken. Es gibt Links zum relevanten Code für jede Aufgabe im ML-Lebenszyklus, einschließlich der Erstellung eines automatisierten Workflows, der die Fairness- und Erklärungsfunktionalität von SageMaker Clarify in eine SageMaker Pipeline integriert.

Best Practices zur Bewertung von Fairness und Erklärbarkeit im ML-Lebenszyklus

Fairness als Prozess— Die Vorstellungen von Voreingenommenheit und Fairness hängen stark von der Anwendung ab. Darüber hinaus muss sich die Wahl der Attribute, für die Bias gemessen werden soll, sowie die Wahl der Bias-Metriken möglicherweise von sozialen, rechtlichen und anderen nicht-technischen Überlegungen orientieren. Der Aufbau eines Konsenses und die Erreichung einer Zusammenarbeit zwischen wichtigen Interessengruppen (wie Produkt-, Richtlinien-, Rechts-, Engineering- und KI/ML-Teams sowie Endbenutzern und Communities) ist Voraussetzung für die erfolgreiche Einführung fairnessbewusster ML-Ansätze in der Praxis.

Fairness und Erklärbarkeit durch Design im ML Lifecycle— Sie sollten Fairness und Erklärbarkeit in jeder Phase des ML-Lebenszyklus berücksichtigen: Problembildung, Datensatzaufbau, Algorithmusauswahl, Modellschulungsprozess, Testprozess, Bereitstellung und Überwachung/Feedback. Es ist wichtig, über die richtigen Tools zu verfügen, um diese Analyse durchzuführen. Um zu ermutigen, sich mit diesen Überlegungen auseinanderzusetzen, finden Sie hier einige Beispielfragen, die Sie in jeder dieser Phasen stellen sollten.


                Best Practices für den Prozess der Bewertung von Fairness und Modellerklärbarkeit.

Beispiel-Notebooks

Amazon SageMaker Clarify bietet die folgenden Beispiel-Notebooks:

Diese Notebooks wurden überprüft, dass sie nur in Amazon SageMaker Studio ausgeführt werden. Wenn Sie Anleitungen zum Öffnen eines Notebooks in Amazon SageMaker Studio benötigen, lesen Sie bitte unterErstellen oder öffnen Sie ein Amazon SageMaker Studio-Notebookaus. Wenn Sie aufgefordert werden, einen Kernel auszuwählen, wählen SiePython 3 (Data Science)aus.

Leitfaden zur SageMaker Clarify Dokumentation

Bias kann in jeder Phase des Lebenszyklus des maschinellen Lernens auftreten und in den Daten gemessen werden: vor dem Training eines Modells und nach dem Modelltraining. SageMaker Clarify kann Feature-Attribution Erklärungen zu Modellvorhersagen für geschulte Modelle und für Modelle liefern, die in der Produktion eingesetzt werden, bei denen Modelle auf jede Abweichung von ihren grundlegenden erklärenden Zuweisungen überwacht werden können. Clarify berechnet Baselines bei Bedarf. Die Dokumentation für SageMaker Clarify ist in die größere SageMaker-Dokumentation eingebettet, die in den entsprechenden ML-Phasen wie folgt festgelegt ist: