Drift bei der Funktionszuweisung für Modelle in der Produktion überwachen - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Drift bei der Funktionszuweisung für Modelle in der Produktion überwachen

Eine Abweichung bei der Verteilung von Live-Daten für Modelle in der Produktion kann zu einer entsprechenden Abweichung der Merkmalszuordnungswerte führen, ebenso wie sie bei der Überwachung von Verzerrungsmetriken zu einer Abweichung der systematischen Verzerrung führen könnte. Amazon SageMaker Clarify Feature Attribution Monitoring hilft Datenwissenschaftlern und ML-Ingenieuren dabei, Vorhersagen für Abweichungen bei der Merkmalszuweisung regelmäßig zu überwachen. Während das Modell überwacht wird, können Kunden exportierbare Berichte und Grafiken mit detaillierten Funktionszuweisungen in SageMaker Erstellen und Konfigurieren von Warnungen in Amazon CloudWatch um Benachrichtigungen zu erhalten, wenn festgestellt wird, dass die Attributionswerte einen bestimmten Schwellenwert überschreiten.

Um dies anhand einer bestimmten Situation zu veranschaulichen, sollten Sie ein hypothetisches Szenario für die Zulassung zum College in Betracht ziehen. Angenommen, wir beobachten die folgenden (aggregierten) Feature-Attributionswerte in den Trainingsdaten und in den Live-Daten:

Hypothetisches Szenario für die Zulassung zum College
Funktionsmerkmal Zuweisung in Trainingsdaten Zuweisung in Live-Daten
SAT-Bewertung 0,70 0.10
GPA 0.50 0.20
Klassenrang 0.05 0,70

Die Änderung von Trainingsdaten zu Live-Daten scheint erheblich zu sein. Das Feature-Ranking wurde komplett umgekehrt Ähnlich wie bei der Bias-Drift können die Abweichungen bei der Feature-Attribution durch eine Änderung der Live-Datenverteilung verursacht werden und rechtfertigen einen genaueren Blick auf das Modellverhalten in den Live-Daten. Auch hier besteht der erste Schritt in diesen Szenarien darin, einen Alarm auszulösen, dass eine Drift aufgetreten ist.

Wir können die Abweichung erkennen, indem wir vergleichen, wie sich das Ranking der einzelnen Merkmale von Trainingsdaten zu Live-Daten geändert hat. Wir möchten nicht nur sensibel auf Änderungen der Rangfolge reagieren, sondern auch auf den rohen Attributionswert der Funktionen reagieren. Angesichts zweier Merkmale, die in der Rangliste um dieselbe Anzahl von Positionen fallen, die von Trainings- zu Live-Daten übergehen, möchten wir beispielsweise sensibler auf das Feature reagieren, das in den Trainingsdaten einen höheren Attributionswert hatte. Unter Berücksichtigung dieser Eigenschaften verwenden wir den NDCG-Score (Normalized Discounted Cumulative Gain), um die Rangfolge der Feature-Attributionen von Trainings- und Live-Daten zu vergleichen.

Nehmen wir insbesondere an, dass wir Folgendes haben:

  • F= [f1,..., fm]ist die Liste der Features, die nach ihren Attributionswerten in den Trainingsdaten sortiert sind, wobeimist die Gesamtzahl der Funktionen. In unserem Fall zum BeispielF= [SAT-Wert, Notendurchschnitt, Klassenrang].

  • ein (f)ist eine Funktion, die den Feature-Attributionswert für die Trainingsdaten eines Features zurückgibt.f. Beispiel,ein(SAT-Wert) = 0,70.

  • F′= [f′1,..., f′m]ist die Liste der Features, die nach ihren Attributionswerten in den Live-Daten sortiert sind. Beispiel,F′= [Klassenrang, Notendurchschnitt, SAT-Wert].

Dann können wir die NDCG wie folgt berechnen:

        ndcg=DCG/IDCG

mit

  • DCG =1mein(f'i) /log2​(ich+1)

  • iDCG =1mein(fi) /log2​(ich+1)

Die Menge DCG misst, ob Features mit hoher Zuordnung in den Trainingsdaten auch in der auf den Live-Daten berechneten Merkmalszuordnung höher eingestuft werden. Die Menge iDCG misst dieideale Bewertungund es ist nur ein normalisierender Faktor, um sicherzustellen, dass die endgültige Menge im Bereich [0, 1] liegt, wobei 1 der bestmögliche Wert ist. Ein NDCG-Wert von 1 bedeutet, dass die Rangfolge der Feature-Attributionen in den Live-Daten dieselbe ist wie in den Trainingsdaten. In diesem speziellen Beispiel beträgt der NDCG-Wert 0,69, da sich das Ranking um einiges geändert hat.

In SageMaker Klären Sie, wenn der NDCG-Wert unter 0,90 liegt, wird automatisch ein Alarm ausgelöst.

Modellmonitor Beispiel-Notizbuch

SageMaker Clarify bietet das folgende Beispielnotizbuch, das zeigt, wie Inferenzdaten in Echtzeit erfasst, eine Baseline zur Überwachung der sich entwickelnden Verzerrungen erstellt und die Ergebnisse untersucht werden:

Es wurde bestätigt, dass dieses Notebook in ausgeführt wird SageMaker Nur Studio Wenn Sie Anweisungen zum Öffnen eines Notizbuchs benötigen SageMaker Studio, sieheErstellen oder öffnen Sie ein Amazon SageMaker Studio Notebook. Wenn Sie aufgefordert werden, einen Kernel auszuwählen, wählen SiePython 3 (Datenwissenschaft). Die folgenden Themen enthalten die Highlights der letzten beiden Schritte und enthalten Codebeispiele aus dem Beispielnotizbuch.