Bewährte Methoden

Beachten Sie bei der Erstellung eines Inferenzexperiments Folgendes:

• Prozentsatz der Traffic-Abtastung – Mit einer Stichprobe von 100 Prozent der Inferenzanfragen können Sie überprüfen, ob Ihre Schattenvariante den Produktionsdatenverkehr bewältigen kann, wenn sie beworben wird. Sie können mit einem niedrigeren Prozentsatz an Stichprobenzahlen beginnen und diese dann erhöhen, wenn Sie Vertrauen in Ihre Variante gewinnen. Es empfiehlt sich jedoch, vor der Promotion sicherzustellen, dass Sie den Traffic auf 100 Prozent erhöht haben.

• Instance-Typ – Sofern Sie Shadow-Varianten nicht verwenden, um alternative Instance-Typen oder -Größen zu bewerten, empfehlen wir Ihnen, denselben Instance-Typ, dieselbe Größe und dieselbe Anzahl zu verwenden, damit Sie sicher sein können, dass Ihre Schattenvariante das Volumen der Inferenzanfragen bewältigen kann, nachdem Sie sie hochgestuft haben.

• Auto Scaling – Um sicherzustellen, dass Ihre Schattenvariante auf Spitzen bei der Anzahl von Inferenzanfragen oder Änderungen der Muster von Inferenzanfragen reagieren kann, empfehlen wir Ihnen dringend, Autoscaling für Ihre Schattenvariante zu konfigurieren. Zur Konfiguration automatischer Aktualisierungen vgl. Automatische Skalierung von SageMaker Amazon-Modellen. Wenn Sie Autoscaling konfiguriert haben, können Sie auch Änderungen an Autoscaling-Richtlinien validieren, ohne dass dies Auswirkungen auf die Benutzer hat.

• Überwachung von Metriken – Nachdem Sie ein Schattenexperiment initiiert haben und genügend Aufrufe erhalten haben, überprüfen Sie das Metrik-Dashboard, um sicherzustellen, dass die Metriken wie Latenz und Fehlerrate innerhalb akzeptabler Grenzen liegen. So können Sie Fehlkonfigurationen frühzeitig erkennen und korrigierend eingreifen. Informationen zur Überwachung der Messwerte eines laufenden Inferenzexperiments finden Sie unter So können Sie Shadow-Tests anzeigen, überwachen und bearbeiten.