Anzeigen des Endpunkts

Wenn Sie Ihr trainiertes Modell verwenden möchten, um Rückschlüsse auf Live-Daten zu ziehen, stellen Sie Ihr Modell auf einem Echtzeit-Endpunkt bereit. Um eine angemessene Latenz Ihrer Vorhersagen zu gewährleisten, sollten Sie sicherstellen, dass die Instances, die Ihr Modell hosten, effizient laufen. Die Endpunktüberwachungsfunktion von Model Dashboard zeigt Echtzeitinformationen zu Ihrer Endpunktkonfiguration an und hilft Ihnen, die Endpunktleistung anhand von Metriken zu verfolgen.

Überwachen Sie die Einstellungen

Das Modell-Dashboard enthält Links zu vorhandenen SageMaker Endpunktdetailseiten, auf denen Echtzeitdiagramme mit Kennzahlen angezeigt werden, die Sie in Amazon auswählen können CloudWatch. In Ihrem Dashboard können Sie diese Metriken verfolgen, während Ihr Endpunkt Inferenzanfragen in Echtzeit bearbeitet. Unter anderem können Sie dazu die folgenden Metriken auswählen:

• CpuUtilization: Die Summe der Auslastung jedes einzelnen CPU Kerns, wobei jeder Wert zwischen 0 und 100% liegt.

• MemoryUtilization: Der Prozentsatz des Speichers, der von den Containern einer Instance verwendet wird, von 0%-100%.

• DiskUtilization: Der Prozentsatz des Festplattenplatzes, der von den Containern einer Instance genutzt wird, von 0%-100%.

Eine vollständige Liste der Messwerte, die Sie in Echtzeit einsehen können, finden Sie unter Metriken für die Überwachung von Amazon SageMaker mit Amazon CloudWatch.

Laufzeit-Einstellungen

Amazon SageMaker unterstützt die automatische Skalierung (Auto Scaling) für Ihre gehosteten Modelle. Amazon SageMaker unterstützt die automatische Skalierung (Autoscaling) für Ihre bereitgestellten Modelle. Wenn die Arbeitslast steigt, bringt die automatische Skalierung mehr Instances online. Wenn die Arbeitslast sinkt, werden durch die automatische Skalierung unnötige Instances entfernt, so dass Sie nicht für bereitgestellte Instances zahlen, die Sie nicht nutzen. Sie können die folgenden Laufzeiteinstellungen im Model Dashboard anpassen:

• Gewichtungen aktualisieren: Ändern Sie den Umfang der Arbeitslast, die jeder Instance zugewiesen ist, mit numerischer Gewichtung. Weitere Informationen zur Instance-Gewichtung bei Auto Scaling finden Sie unter Instance-Gewichtung für Amazon EC2 Auto Scaling konfigurieren.

• Instance-Anzahl aktualisieren: Ändern Sie die Gesamtzahl der Instances, die Ihren Workload bedienen können, wenn dieser zunimmt.

Weitere Informationen zu den Laufzeiteinstellungen für Endgeräte finden Sie unter. CreateEndpointConfig

Einstellungen für die Endpunktkonfiguration

In den Konfigurationseinstellungen für Endpunkts werden die Einstellungen angezeigt, die Sie beim Erstellen des Endpunkts angegeben haben. Diese Einstellungen geben an SageMaker , welche Ressourcen für Ihren Endpunkt bereitgestellt werden sollen. Zu den Einstellungen gehören unter anderem die folgenden:

• Datenerfassung: Sie können wählen, ob Sie Informationen über die Ein- und Ausgaben Ihres Endgeräts erfassen möchten. Beispielsweise können Sie den eingehenden Verkehr testen, um festzustellen, ob die Ergebnisse mit Trainingsdaten korrelieren. Sie können Ihre Sampling-Häufigkeit, das Format der gespeicherten Daten und den Amazon S3-Speicherort der gespeicherten Daten anpassen. Weitere Informationen zum Einrichten Ihrer Datenerfassungskonfiguration finden Sie unter Datenerfassung.

• Produktionsvarianten: Weitere Informationen finden Sie in der vorherigen Diskussion unter Laufzeiteinstellungen.

• Asynchrone Aufrufkonfiguration: Wenn Ihr Endpunkt asynchron ist, enthält dieser Abschnitt die maximale Anzahl gleichzeitiger Anfragen, die vom SageMaker Client an den Modellcontainer gesendet werden, den Amazon S3 S3-Speicherort Ihrer Erfolgs- und Fehlerbenachrichtigungen und den Ausgabespeicherort Ihrer Endpunktausgaben. Weitere Informationen über asynchrone Ausgänge finden Sie unter Asynchrone Endpunktoperationen.

• Verschlüsselungsschlüssel: Sie können Ihren Verschlüsselungsschlüssel eingeben, wenn Sie Ihre Ausgaben verschlüsseln möchten.

Weitere Informationen zu den Einstellungen der Endpunktkonfiguration finden Sie unter. CreateEndpointConfig

Status und Konfiguration für einen Endpunkt anzeigen

Führen Sie zum Anzeigen des Status und der Konfiguration des Endpunkts eines Modells die folgenden Schritte aus:

1. Öffnen Sie die SageMaker Konsole.

2. Wählen Sie im linken Bereich die Option Governance aus.

3. Wählen Sie Model Dashboard.

4. Wählen Sie im Bereich Modelle des Modell-Dashboards den Modellnamen des Endpunkts aus, den Sie anzeigen möchten.

5. Wählen Sie den Endpunktnamen im Abschnitt Endpunkte aus.