Überwachen Sie Bias Drift für Modelle in der Produktion - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen Sie Bias Drift für Modelle in der Produktion

Amazon SageMaker Clarify Bias Monitoring hilft Datenwissenschaftlern und ML-Ingenieuren, Prognosen auf Voreingenommenheit regelmäßig zu überwachen. Während das Modell überwacht wird, können Kunden exportierbare Berichte und Grafiken mit detaillierten Bias in SageMaker Studio- und Konfigurieren von Warnungen in Amazon CloudWatch um Benachrichtigungen zu erhalten, wenn eine Voreingenommenheit über einen bestimmten Schwellenwert hinaus erkannt wird. Bias kann in bereitgestellten ML-Modellen eingeführt oder verschärft werden, wenn sich die Trainingsdaten von den Daten unterscheiden, die das Modell während der Bereitstellung sieht (dh den Live-Daten). Diese Art von Änderungen in der Live-Datenverteilung kann vorübergehend (z. B. aufgrund einiger kurzlebiger, realer Ereignisse) oder dauerhaft sein. In beiden Fällen kann es wichtig sein, diese Änderungen zu erkennen. Beispielsweise können die Ergebnisse eines Modells zur Vorhersage von Eigenheimpreisen voreingenommen werden, wenn die Hypothekenzinsen, die zur Ausbildung des Modells verwendet werden, von den aktuellen realen Hypothekenzinsen abweichen. Mit Bias-Erkennungsfunktionen in Model Monitor, wenn SageMaker erkennt Bias jenseits eines bestimmten Schwellenwerts und generiert automatisch Metriken, die Sie anzeigen können SageMaker Studio und über Amazon CloudWatch CloudWatch-Warnungen.

Im Allgemeinen misst Bias nur während der train-and-deploy Phase reicht möglicherweise nicht aus. Es ist möglich, dass sich die Verteilung der Daten, die das bereitgestellte Modell sieht (dh die Live-Daten), von der Datenverteilung im Schulungsdatensatz unterscheidet, nachdem das Modell bereitgestellt wurde. Diese Änderung könnte im Laufe der Zeit zu Bias in einem Modell führen. Die Änderung der Live-Datenverteilung kann vorübergehend (z. B. aufgrund eines kurzlebigen Verhaltens wie der Weihnachtszeit) oder dauerhaft sein. In beiden Fällen kann es wichtig sein, diese Änderungen zu erkennen und gegebenenfalls Maßnahmen zu ergreifen, um die Voreingenommenheit zu reduzieren.

Um diese Änderungen zu erkennen, SageMaker Clarify bietet Funktionen, um die Bias-Metriken eines bereitgestellten Modells kontinuierlich zu überwachen und automatisierte Warnungen auszulösen, wenn die Metriken einen Schwellenwert überschreiten. Betrachten Sie beispielsweise die DPPL-Bias-Metrik. Geben Sie einen zulässigen Wertebereich an A =( amin​, einmax​), zum Beispiel ein Intervall von (-0.1, 0.1), zu dem DPPL während der Bereitstellung gehören sollte. Jede Abweichung von diesem Bereich sollte eineDetektiert Biaswarnung. mit SageMaker Klären Sie, Sie können diese Überprüfungen in regelmäßigen Abständen durchführen.

Zum Beispiel können Sie die Häufigkeit der Schecks auf 2 Tage einstellen. Dies bedeutet, dass SageMaker Clarify berechnet die DPPL-Metrik für Daten, die während eines zweitägigen Zeitfensters erfasst wurden. In diesem Beispiel wurde Dwinsind die Daten, die das Modell während des letzten 2-Tage-Fensters verarbeitet hat. Eine Warnung wird ausgegeben, wenn der DPPL-Wert bwin​Berechnet auf Dwin​liegt außerhalb eines zulässigen Bereichs A. Dieser Ansatz zur Überprüfung ob bwinist außerhalb von A kann etwas laut sein. Dwin​könnte aus sehr wenigen Beispielen bestehen und möglicherweise nicht repräsentativ für die Live-Datenverteilung sein. Der geringe Stichprobenumfang bedeutet, dass der Wert von Bias bwin​Berechnet über Dwin​ist möglicherweise keine sehr robuste Schätzung. In der Tat sehr hohe (oder niedrige) Werte von bwinkann rein zufällig beobachtet werden. Um sicherzustellen, dass die Schlussfolgerungen aus den beobachteten Daten Dwinsind statistisch signifikant, SageMaker Clarify nutzt Konfidenzintervalle. Insbesondere verwendet es die Methode Normal Bootstrap Interval, um ein Intervall zu konstruieren C =( cmin, cmax) so dass SageMaker Clarify ist zuversichtlich, dass der wahre Bias-Wert, der über die gesamten Live-Daten berechnet wird, mit hoher Wahrscheinlichkeit in C enthalten ist. Wenn sich das Konfidenzintervall C mit dem zulässigen Bereich A überschneidet, SageMaker Klärung interpretiert es als „es ist wahrscheinlich, dass der Bias-Metrikwert der Live-Datenverteilung innerhalb des zulässigen Bereichs liegt“. Wenn C und A disjunkt sind, SageMaker Clarify ist zuversichtlich, dass die Bias-Metrik nicht in A liegt und einen Alarm auslöst.

Model Monitor Beispiel-Notebooks

Amazon SageMaker Clarify bietet das folgende Beispiel-Notizbuch, das zeigt, wie Echtzeit-Inferenzdaten erfasst, eine Baseline erstellt werden, um sich entwickelnde Voreingenommenheit zu überwachen und die Ergebnisse zu überprüfen:

Dieses Notizbuch wurde für die Ausführung in Amazon überprüft SageMaker Nur Studio. Wenn Sie Anweisungen zum Öffnen eines Notebooks in Amazon benötigen SageMaker Studio, sieheErstellen oder öffnen Sie ein Amazon SageMaker Studio-Notebookaus. Wenn Sie aufgefordert werden, einen Kernel auszuwählen, wählen SiePython 3 (Data Science)aus. Die folgenden Themen enthalten die Highlights der letzten beiden Schritte und enthalten Codebeispiele aus dem Beispiel-Notizbuch.