Schattentests

Mit Amazon können SageMaker Sie alle Änderungen an Ihrem Modell der Serverinfrastruktur bewerten, indem Sie dessen Leistung mit der derzeit bereitgestellten Infrastruktur vergleichen. Diese Vorgehensweise wird als Schattentest bezeichnet. Schattentests können Ihnen helfen, catch Konfigurationsfehler und Leistungsprobleme zu erkennen, bevor sie sich auf Endbenutzer auswirken. Mit SageMaker müssen Sie nicht in den Aufbau Ihrer Shadow-Testing-Infrastruktur investieren, sodass Sie sich auf die Modellentwicklung konzentrieren können.

Sie können diese Funktion nutzen, um Änderungen an jeder Komponente Ihrer Produktionsvariante, d. h. am Modell, am Container oder an der Instance, zu validieren, ohne dass sich dies auf den Endbenutzer auswirkt. Dies ist unter anderem in folgenden Situationen nützlich, ist aber nicht darauf beschränkt:

• Sie erwägen, ein neues Modell, das offline validiert wurde, in der Produktion einzuführen, möchten aber vor dieser Entscheidung betriebliche Leistungskennzahlen wie Latenz und Fehlerrate auswerten.

• Sie erwägen Änderungen an Ihrem Serverinfrastruktur-Container, z. B. das Patchen von Sicherheitslücken oder das Upgrade auf neuere Versionen, und möchten die Auswirkungen dieser Änderungen abschätzen, bevor Sie zur Produktion übergehen.

• Sie erwägen, Ihre ML-Instance zu ändern, und möchten evaluieren, wie die neue Instance bei Live-Inferenzanfragen abschneiden würde.

Die SageMaker Konsole bietet eine Anleitung zur Verwaltung des Workflows von Shadow-Tests. Sie können Shadow-Tests für einen vordefinierten Zeitraum einrichten, den Fortschritt des Tests über ein Live-Dashboard überwachen, nach Abschluss bereinigen und auf der Grundlage der Ergebnisse handeln. Wählen Sie eine Produktionsvariante aus, mit der Sie testen möchten, und stellt die neue Variante SageMaker automatisch im Schattenmodus bereit und leitet eine Kopie der Inferenzanfragen in Echtzeit innerhalb desselben Endpunkts an sie weiter. Nur die Antworten der Produktionsvariante werden an die aufrufende Anwendung zurückgegeben. Sie können wählen, ob Sie die Antworten der Schattenvariante verwerfen oder protokollieren möchten, um sie offline vergleichen zu können. Weitere Informationen zu Produktions- und Schattenvarianten finden Sie unter Modelle in der Produktion sicher validieren.

Anweisungen zum Erstellen eines Schattentests finden Sie unter Erstellen Sie ein Shadow Testing.

Anmerkung

Bestimmte Endpunktfunktionen können dazu führen, dass Ihr Endpunkt nicht mit Shadow-Tests kompatibel ist. Wenn Ihr Endpunkt eine der folgenden Funktionen verwendet, können Sie auf Ihrem Endpunkt keine Shadow-Tests verwenden, und Ihre Anfrage zur Einrichtung von Shadow-Tests führt zu Validierungsfehlern.

• Serverlose Inferenz

• Asynchrone Inferenz

• Marketplace Container

• Endpunkte mit mehreren Containern

• Endpunkte mit mehreren Knoten

• Endpunkte, die Inf1-Instances (auf Inferenz basieren) verwenden

• Endpunkte und Kontingente von Amazon Elastic Inference