Erstellen Sie ein Shadow Testing

Sie können ein Shadow Testing erstellen, um die Leistung einer Shadow-Variante mit einer Produktionsvariante zu vergleichen. Sie können den Test auf einem vorhandenen Endpunkt ausführen, der Inferenzanforderungen bedient, oder Sie können einen neuen Endpunkt erstellen, auf dem der Test ausgeführt werden soll.

Um einen Shadow-Test zu erstellen, benötigen Sie folgende Informationen:

• Eine Produktionsvariante, die 100 Prozent der eingehenden Inferenzanfragen empfängt und beantwortet.

• Eine Shadow-Variante, die einen Prozentsatz der eingehenden Anfragen empfängt, die aus der Produktionsvariante repliziert werden, aber keine Antworten zurückgibt.

Für jede Variante können SageMaker Sie das Modell, den Instance-Typ und die Anzahl der Instances steuern. Sie können den Prozentsatz der eingehenden Anfragen, den so genannten Traffic Sampling-Prozentsatz, konfigurieren, der in Ihre Shadow-Variante repliziert werden soll. SageMaker verwaltet die Replikation von Anfragen an Ihre Shadow-Variante und Sie können den Prozentsatz der Traffic-Abtastung ändern, wenn Ihr Test geplant ist oder läuft. Sie können optional auch Data Capture aktivieren, um Anfragen und Antworten Ihrer Produktions- und Shadow-Varianten zu protokollieren.

Anmerkung

SageMaker unterstützt maximal eine Shadow-Variante pro Endpunkt. Für einen Endpunkt mit einer Shadow-Variante kann es maximal eine Produktionsvariante geben.

Sie können den Test so planen, dass er zu einem beliebigen Zeitpunkt beginnt und für eine bestimmte Dauer fortgesetzt wird. Die Standarddauer beträgt 7 Tage und die Höchstdauer 30 Tage. Nach Abschluss des Tests kehrt der Endpunkt in den Zustand zurück, in dem er sich vor dem Start des Tests befand. Dadurch wird sichergestellt, dass Sie Ressourcen nach Abschluss des Tests nicht manuell bereinigen müssen.

Sie können einen Test, der gerade ausgeführt wird, über ein Dashboard in der SageMaker Konsole überwachen. Das Dashboard bietet einen direkten Vergleich der Aufrufmetriken und Instance-Metriken zwischen der Produktions- und der Shadow-Variante sowie eine tabellarische Ansicht mit relevanten Metrikstatistiken. Dieses Dashboard ist auch für abgeschlossene Tests verfügbar. Nachdem Sie die Kennzahlen überprüft haben, können Sie entweder die Shadow-Variante zur neuen Produktionsvariante heraufstufen oder die bestehende Produktionsvariante beibehalten. Sobald Sie die Shadow-Variante hochgestuft haben, beantwortet sie alle eingehenden Anfragen. Weitere Informationen finden Sie unter Hochstufen einer Schattenvariante.

Das folgende Verfahren beschreibt, wie Sie einen Shadow-Test über die SageMaker Konsole erstellen. Je nachdem, ob Sie einen vorhandenen Endpunkt verwenden oder einen neuen Endpunkt für den Shadow-Test erstellen möchten, gibt es Variationen im Arbeitsablauf.

Voraussetzungen

Bevor Sie einen Shadow-Test mit der SageMaker Konsole erstellen können, müssen Sie über ein einsatzbereites SageMaker Modell verfügen. Weitere Informationen zum Erstellen eines SageMaker Modells finden Sie unterImplementieren Sie Modelle für Inferenz in Echtzeit.

Sie können mit Schattentests mit einem vorhandenen Endpunkt mit einer Produktionsvariante und einer Schattenvariante, einem vorhandenen Endpunkt mit nur einer Produktionsvariante oder nur mit den SageMaker Modellen beginnen, die Sie vergleichen möchten. Shadow-Tests unterstützen die Erstellung eines Endpunkts und das Hinzufügen von Varianten, bevor Ihr Test beginnt.

Anmerkung

Bestimmte Endpunktfunktionen können dazu führen, dass Ihr Endpunkt nicht mit Shadow-Tests kompatibel ist. Wenn Ihr Endpunkt eine der folgenden Funktionen verwendet, können Sie auf Ihrem Endpunkt keine Shadow-Tests verwenden, und Ihre Anfrage zur Einrichtung von Shadow-Tests führt zu Validierungsfehlern.

• Serverlose Inferenz

• Asynchrone Inferenz

• Marketplace Container

• Endpunkte mit mehreren Containern

• Endpunkte mit mehreren Knoten

• Endpunkte, die Inf1-Instances (auf Inferenz basieren) verwenden

• Endpunkte von Amazon Elastic Inference

Geben Sie die Details zum Shadow-Test ein

Um mit der Erstellung Ihres Shadow-Tests zu beginnen, füllen Sie die Seite Shadow-Testdetails eingeben wie folgt aus:

1. Öffnen Sie die SageMaker -Konsole.

2. Wählen Sie im linken Navigationsbereich Inferenz und anschließend Shadow-Tests aus.

3. Wählen Sie Shadow-Test.

4. Geben Sie für Name einen Namen für den Test ein.

5. (Optional) Geben Sie im Feld Description eine Beschreibung für den Test ein.

6. (Optional) Geben Sie Tags mithilfe von Schlüssel – und Wertepaaren an.

7. Wählen Sie Weiter aus.

Geben Sie die Shadow-Test-Einstellungen ein

Nachdem Sie die Seite Shadow-Test-Details eingeben ausgefüllt haben, füllen Sie die Seite Shadow-Test-Einstellungen eingeben aus. Wenn Sie bereits über einen SageMaker Inferenzendpunkt und eine Produktionsvariante verfügen, folgen Sie dem Workflow Einen vorhandenen Endpunkt verwenden. Wenn Sie noch keinen Endpunkt haben, folgen Sie dem Workflow Neuen Endpunkt erstellen.

Use an existing endpoint

Wenn Sie einen vorhandenen Endpunkt für Ihren Test verwenden möchten, füllen Sie die Seite Shadow-Testeinstellungen eingeben wie folgt aus:

1. Wählen Sie eine Rolle, der die AmazonSageMakerFullAccess IAM-Richtlinie zugeordnet ist.

2. Wählen Sie Vorhandenen Endpunkt verwenden und wählen Sie dann einen der verfügbaren Endpunkte aus.

3. (Optional) Um das Speichervolumen auf Ihrem Endpunkt zu verschlüsseln, wählen Sie entweder einen vorhandenen KMS-Schlüssel oder wählen Sie KMS-Schlüssel-ARN eingeben aus der Dropdown-Liste unter Verschlüsselungsschlüssel. Wenn Sie die zweite Option wählen, wird ein Feld zur Eingabe des KMS-Schlüssels ARN angezeigt. Geben Sie den KMS-Schlüssel ARN in dieses Feld ein.

4. Wenn hinter diesem Endpunkt mehrere Produktionsvarianten stehen, entfernen Sie diejenigen, die Sie nicht für den Test verwenden möchten. Sie können eine Modellvariante entfernen, indem Sie sie auswählen und dann Entfernen wählen.

5. Wenn Sie noch keine Shadow-Variante haben, fügen Sie eine Shadow-Variante hinzu. Fügen Sie wie folgt eine Shadow-Variante hinzu:

   1. Wählen Sie Hinzufügen aus.

   2. Wählen Sie die Shadow-Variante.

   3. Wählen Sie im Dialogfeld Modell hinzufügen das Modell, das Sie für Ihre Shadow-Variante verwenden möchten.

   4. Wählen Sie Speichern.

6. (Optional) Im vorherigen Schritt wurde die Shadow-Variante mit den Standardeinstellungen hinzugefügt. Um diese Einstellungen zu ändern, wählen Sie die Shadow-Variante aus und klicken Sie auf Bearbeiten. Das Dialogfenster Shadow-Variante bearbeiten wird angezeigt. Weitere Informationen über das Ausfüllen dieses Dialogfelds finden Sie unter Bearbeiten Sie einen Schattentest.

7. Geben Sie im Abschnitt Zeitplan die Dauer des Tests ein, indem Sie wie folgt vorgehen:

   1. Wählen Sie das Feld unter Dauer aus. Es wird ein Popup-Kalender angezeigt.

   2. Wählen Sie das Start- und Enddatum aus dem Kalender aus, oder geben Sie das Start- und Enddatum in die Felder für Startdatum bzw. Enddatum ein.

   3. (Optional) Geben Sie für die Felder Startzeit und Endzeit jeweils die Start- und Endzeit im 24-Stunden-Format ein.

   4. Wählen Sie Apply (Anwenden) aus.

   Die Mindestdauer beträgt 1 Stunde und die Höchstdauer 30 Tage.

8. (Optional) Aktivieren Sie die Option Datenerfassung aktivieren, um Informationen zu Inferenzanfragen und -antworten von Ihrem Endpunkt in einem Amazon-S3-Bucket zu speichern, und geben Sie dann den Speicherort des Amazon-S3-Buckets ein.

9. Wählen Sie Shadow-Test erstellen.

Create a new endpoint

Wenn Sie noch keinen vorhandenen Endpunkt haben oder einen neuen Endpunkt für Ihren Test erstellen möchten, füllen Sie die Seite Shadow-Testeinstellungen eingeben wie folgt aus:

1. Wählen Sie eine Rolle, der dieAmazonSageMakerFullAccess IAM-Richtlinie zugeordnet ist.

2. Wählen Sie Neuen Endpunkt erstellen aus.

3. Geben Sie unter Name tag einen Namen für den Endpunkt ein.

4. Fügen Sie dem Endpunkt eine Produktionsvariante und eine Shadow-Variante hinzu:

   • Um eine Produktionsvariante hinzuzufügen, wählen Sie Hinzufügen und dann Produktionsvariante. Wählen Sie im Dialogfeld Modell hinzufügen das Modell, das Sie für Ihre Produktionsvariante verwenden möchten, und klicken Sie dann auf Speichern.

   • Um eine Shadow-Variante hinzuzufügen, wählen Sie Hinzufügen und anschließend Shadow-Variante. Wählen Sie im Dialogfeld Modell hinzufügen, das Sie für Ihre Shadow-Variante verwenden möchten, und klicken Sie dann auf Speichern.

5. (Optional) Im vorherigen Schritt wurde die Shadow-Variante mit den Standardeinstellungen hinzugefügt. Um diese Einstellungen zu ändern, wählen Sie die Shadow-Variante aus und klicken Sie auf Bearbeiten. Das Dialogfenster Shadow-Variante bearbeiten wird angezeigt. Weitere Informationen über das Ausfüllen dieses Dialogfelds finden Sie unter Bearbeiten Sie einen Schattentest.

6. Geben Sie im Abschnitt Zeitplan die Dauer des Tests ein, indem Sie wie folgt vorgehen:

   1. Wählen Sie das Feld unter Dauer aus. Es wird ein Popup-Kalender angezeigt.

   2. Wählen Sie das Start- und Enddatum aus dem Kalender aus, oder geben Sie das Start- und Enddatum unter Startdatum bzw. Enddatum ein.

   3. (Optional) Geben Sie unter Startzeit und Endzeit die Start- bzw. Endzeit im 24-Stunden-Format ein.

   4. Wählen Sie Apply (Anwenden) aus.

   Die Mindestdauer beträgt 1 Stunde und die Höchstdauer 30 Tage.

7. (Optional) Aktivieren Sie die Option Datenerfassung aktivieren, um Informationen zu Inferenzanfragen und -antworten von Ihrem Endpunkt in einem Amazon-S3-Bucket zu speichern, und geben Sie dann den Speicherort des Amazon-S3-Buckets ein.

8. Wählen Sie Shadow-Test erstellen.

Nachdem Sie die vorherigen Verfahren abgeschlossen haben, sollte nun ein Test geplant sein, der an dem von Ihnen angegebenen Startdatum und der angegebenen Startzeit beginnt. Sie können den Fortschritt des Tests von einem Dashboard aus verfolgen. Weitere Informationen über das Anzeigen Ihres Tests und die Aktionen, die Sie ergreifen können, finden Sie unter Shadow-Tests anzeigen, überwachen und bearbeiten.