Schattentests

Mit Amazon können SageMaker Sie alle Änderungen an Ihrer Modellbereitstellungsinfrastruktur bewerten, indem Sie deren Leistung mit der aktuell bereitgestellten Infrastruktur vergleichen. Diese Vorgehensweise wird als Schattentest bezeichnet. Schattentests können Ihnen helfen, catch Konfigurationsfehler und Leistungsprobleme zu erkennen, bevor sie sich auf Endbenutzer auswirken. Mit müssen SageMakerSie nicht in den Aufbau Ihrer Schattentestinfrastruktur investieren, sodass Sie sich auf die Modellentwicklung konzentrieren können.

Sie können diese Funktion nutzen, um Änderungen an jeder Komponente Ihrer Produktionsvariante, d. h. am Modell, am Container oder an der Instance, zu validieren, ohne dass sich dies auf den Endbenutzer auswirkt. Dies ist unter anderem in folgenden Situationen nützlich, ist aber nicht darauf beschränkt:

• Sie erwägen, ein neues Modell, das offline validiert wurde, in der Produktion einzuführen, möchten aber vor dieser Entscheidung betriebliche Leistungskennzahlen wie Latenz und Fehlerrate auswerten.

• Sie erwägen Änderungen an Ihrem Serverinfrastruktur-Container, z. B. das Patchen von Sicherheitslücken oder das Upgrade auf neuere Versionen, und möchten die Auswirkungen dieser Änderungen abschätzen, bevor Sie zur Produktion übergehen.

• Sie erwägen, Ihre ML-Instance zu ändern, und möchten evaluieren, wie die neue Instance bei Live-Inferenzanfragen abschneiden würde.

Die SageMaker Konsole bietet eine geführte Erfahrung zur Verwaltung des Workflows von Schattentests. Sie können Schattentests für einen vordefinierten Zeitraum einrichten, den Fortschritt des Tests über ein Live-Dashboard überwachen, nach Abschluss bereinigen und auf der Grundlage der Ergebnisse handeln. Wählen Sie eine Produktionsvariante aus, mit der Sie testen möchten, und SageMaker stellt die neue Variante automatisch im Schattenmodus bereit und leitet eine Kopie der Inferenzanforderungen in Echtzeit innerhalb desselben Endpunkts an sie weiter. Nur die Antworten der Produktionsvariante werden an die aufrufende Anwendung zurückgegeben. Sie können wählen, ob Sie die Antworten der Schattenvariante verwerfen oder protokollieren möchten, um sie offline vergleichen zu können. Weitere Informationen zu Produktions- und Schattenvarianten finden Sie unter Modelle in der Produktion sicher validieren. Beachten Sie, dass Sie keine Schattentests verwenden können, wenn Ihr Endpunkt eine der auf der Ausschlüsse Seite aufgeführten Funktionen verwendet.

Anweisungen zum Erstellen eines Schattentests finden Sie unter Erstellen Sie ein Shadow Testing.