Stellen Sie Ihre Modelle auf einem Endpunkt bereit

In Amazon SageMaker Canvas können Sie Ihre Modelle auf einem Endpunkt bereitstellen, um Vorhersagen zu treffen. SageMaker stellt die ML-Infrastruktur bereit, mit der Sie Ihr Modell auf einem Endpunkt mit den von Ihnen ausgewählten Recheninstanzen hosten können. Anschließend können Sie den Endpunkt aufrufen (eine Prognoseanfrage senden) und anhand Ihres Modells eine Vorhersage in Echtzeit abrufen. Mit dieser Funktion können Sie Ihr Modell in der Produktion verwenden, um auf eingehende Anfragen zu antworten, und Sie können Ihr Modell in bestehende Anwendungen und Workflows integrieren.

Zu Beginn sollten Sie über ein Modell verfügen, das Sie bereitstellen möchten. Sie können von Ihnen erstellte benutzerdefinierte Modellversionen, Amazon SageMaker JumpStart Foundation-Modelle und fein abgestimmte JumpStart Foundation-Modelle bereitstellen. Für weitere Informationen zum Erstellen eines Modells in Canvas, siehe Wie funktionieren benutzerdefinierte Modelle. Weitere Informationen zu JumpStart Foundation-Modellen in Canvas finden Sie unterGenerative KI-Grundmodelle in SageMaker Canvas.

Lesen Sie den folgenden Abschnitt zur Rechteverwaltung und beginnen Sie dann im Abschnitt Modell bereitstellen mit der Erstellung neuer Bereitstellungen.

Berechtigungsverwaltung

Standardmäßig sind Sie berechtigt, Modelle auf SageMaker Hosting-Endpunkten bereitzustellen. SageMaker gewährt diese Berechtigungen für alle neuen und vorhandenen Canvas-Benutzerprofile über die AmazonSageMakerCanvasFullAccessRichtlinie, die der AWS IAM Ausführungsrolle für die SageMaker Domäne zugeordnet ist, die Ihre Canvas-Anwendung hostet.

Wenn Ihr Canvas-Administrator eine neue Domäne oder ein neues Benutzerprofil SageMaker einrichtet, aktiviert er bei der Einrichtung der Domäne und bei Befolgung der erforderlichen Anweisungen in der die Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas Berechtigungen für die Modellbereitstellung über die Option Direkte Bereitstellung von Canvas-Modellen aktivieren, die standardmäßig aktiviert ist.

Der Canvas-Administrator kann die Berechtigungen für die Modellbereitstellung auch auf Benutzerprofilebene verwalten. Wenn der Administrator beispielsweise beim Einrichten einer Domäne nicht allen Benutzerprofilen Berechtigungen für die Modellbereitstellung gewähren möchte, kann er nach der Erstellung der Domäne bestimmten Benutzern Berechtigungen gewähren.

Das folgende Verfahren zeigt, wie Sie die Berechtigungen für die Modellbereitstellung für ein bestimmtes Benutzerprofil ändern:

1. Öffnen Sie die SageMaker Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Wählen Sie im linken Navigationsbereich Admin-Konfigurationen.

3. Wählen Sie unter Admin Konfigurationen die Option Domains aus.

4. Wählen Sie aus der Liste der Domänen die Domäne des Benutzerprofils aus.

5. Wählen Sie auf der Seite mit den Domänendetails die Registerkarte Benutzerprofile aus.

6. Wählen Sie Ihr Benutzerprofil aus.

7. Wählen Sie auf der Seite des Benutzerprofils den Tab App-Konfigurationen aus.

8. Wählen Sie im Bereich Canvas die Option Bearbeiten aus.

9. Aktivieren Sie im Bereich ML Ops-Konfiguration die Option Direkte Bereitstellung von Canvas-Modellen aktivieren, um Bereitstellungsberechtigungen zu aktivieren.

10. Wählen Sie Senden, um die Änderungen an Ihren Domain-Einstellungen zu speichern.

Das Benutzerprofil sollte jetzt über Berechtigungen zur Modellbereitstellung verfügen.

Stellen Sie nach der Erteilung der Berechtigungen für die Domäne oder das Benutzerprofil sicher, dass sich der Benutzer von seiner Canvas-Anwendung abmeldet und wieder anmeldet, um die Berechtigungsänderungen zu übernehmen.

Bereitstellen eines Modells

Um mit der Bereitstellung Ihres Modells zu beginnen, erstellen Sie eine neue Bereitstellung in Canvas und geben die Modellversion an, die Sie zusammen mit der ML-Infrastruktur bereitstellen möchten, z. B. den Typ und die Anzahl der Rechen-Instances, die Sie zum Hosten des Modells verwenden möchten.

Canvas schlägt basierend auf Ihrem Modelltyp einen Standardtyp und eine Standardanzahl von Instances vor. Weitere Informationen zu den verschiedenen SageMaker Instance-Typen finden Sie auf der SageMaker Amazon-Preisseite. Solange Ihr Endpunkt aktiv ist, werden Ihnen Gebühren auf der Grundlage der SageMaker Instance-Preise berechnet.

Bei der Bereitstellung von JumpStart Foundation-Modellen haben Sie auch die Möglichkeit, die Länge der Bereitstellungszeit anzugeben. Sie können das Modell auf unbestimmte Zeit auf einem Endpunkt bereitstellen (das heißt, der Endpunkt ist aktiv, bis Sie die Bereitstellung löschen). Oder, wenn Sie den Endpunkt nur für einen kurzen Zeitraum benötigen und die Kosten senken möchten, können Sie das Modell für einen bestimmten Zeitraum auf einem Endpunkt bereitstellen und danach SageMaker den Endpunkt für Sie herunterfahren.

Anmerkung

Wenn Sie ein Modell für einen bestimmten Zeitraum bereitstellen, bleiben Sie für die Dauer des Endpunkts bei der Canvas-Anwendung angemeldet. Wenn Sie sich von der Anwendung abmelden oder sie löschen, kann Canvas den Endpunkt zum angegebenen Zeitpunkt nicht herunterfahren.

Nachdem Ihr Modell auf einem SageMaker Hosting-Echtzeit-Inferenzendpunkt bereitgestellt wurde, können Sie damit beginnen, Vorhersagen zu treffen, indem Sie den Endpunkt aufrufen.

Es gibt verschiedene Möglichkeiten, ein Modell über die Canvas-Anwendung bereitzustellen. Sie können mit einer der folgenden Methoden auf die Modellbereitstellungsoption zugreifen:

• Wählen Sie auf der Seite Meine Modelle der Canvas-Anwendung das Modell aus, das Sie bereitstellen möchten. Wählen Sie dann auf der Seite Versionen des Modells das Symbol Weitere Optionen ( ) neben einer Modellversion aus und wählen Sie Bereitstellen aus.

• Wählen Sie auf der Detailseite für eine Modellversion auf der Registerkarte Analysieren die Option Bereitstellen aus.

• Wenn Sie sich auf der Detailseite für eine Modellversion befinden, klicken Sie oben auf der Seite auf der Registerkarte Prognostizieren auf das Symbol Weitere Optionen ( ) und wählen Sie Bereitstellen aus.

• Wählen Sie auf der Seite ML Ops der Canvas-Anwendung die Registerkarte Deployments und dann Create deployment aus.

• JumpStart Fundamentmodelle und fein abgestimmte Fundamentmodelle finden Sie auf der Ready-to-use Modellseite der Canvas-Anwendung. Wählen Sie Inhalt generieren, extrahieren und zusammenfassen. Suchen Sie dann das JumpStart Foundation-Modell oder das fein abgestimmte Foundation-Modell, das Sie bereitstellen möchten. Wählen Sie das Modell aus und klicken Sie auf der Chat-Seite des Modells auf die Schaltfläche Bereitstellen.

Bei all diesen Methoden wird der Seitenbereich Deploy-Modell geöffnet, in dem Sie die Bereitstellungskonfiguration für Ihr Modell angeben. Um das Modell über diesen Bereich bereitzustellen, führen Sie die folgenden Schritte aus:

1. (Optional) Wenn Sie ein Deployment auf der ML Ops-Seite erstellen, haben Sie die Möglichkeit, Modell und Version auszuwählen. Verwenden Sie die Dropdown-Menüs, um das Modell und die Modellversion auszuwählen, die Sie bereitstellen möchten.

2. Geben Sie einen Namen in das Feld Bereitstellungsname ein.

3. (Nur für JumpStart Basismodelle und fein abgestimmte Basismodelle) Wählen Sie eine Bereitstellungsdauer. Wählen Sie Unbegrenzt, um den Endpunkt aktiv zu lassen, bis Sie ihn herunterfahren, oder wählen Sie Dauer angeben und geben Sie dann den Zeitraum ein, für den der Endpunkt aktiv bleiben soll.

4. SageMaker Erkennt zum Beispiel den Instanztyp und die Standard-Instanznummer, die für Ihr Modell geeignet sind. Sie können jedoch den Instance-Typ ändern, den Sie für das Hosten Ihres Modells verwenden möchten.

   Anmerkung

   Wenn das Instance-Kontingent für den ausgewählten Instance-Typ in Ihrem AWS Konto aufgebraucht ist, können Sie eine Erhöhung des Kontingents beantragen. Weitere Informationen zu den Standardkontingenten und dazu, wie Sie eine Erhöhung beantragen können, finden Sie unter SageMaker Amazon-Endpunkte und Kontingente im AWS Allgemeinen Referenzhandbuch.

5. Unter Anzahl der Instances können Sie die Anzahl der aktiven Instances festlegen, die für Ihren Endpunkt verwendet werden. SageMaker erkennt eine Standardnummer, die für Ihr Modell geeignet ist. Sie können diese Zahl jedoch ändern.

6. Wenn Sie bereit sind, Ihr Modell bereitzustellen, wählen Sie Bereitstellen aus.

Ihr Modell sollte jetzt auf einem Endpunkt bereitgestellt werden.