Bereitstellen von Modellen JumpStart mithilfe von Amazon SageMaker Studio

Die folgenden Schritte zeigen Ihnen, wie Sie Modelle JumpStart mithilfe von Amazon SageMaker Studio bereitstellen.

Voraussetzungen

Stellen Sie sicher, dass Sie Inferenzfunktionen auf Ihren SageMaker HyperPod Amazon-Clustern eingerichtet haben. Weitere Informationen finden Sie unter Richten Sie Ihre Cluster für die Modellbereitstellung ein HyperPod .

Erstellen Sie ein Deployment HyperPod

1. Öffnen Sie in Amazon SageMaker Studio die JumpStartLandingpage im linken Navigationsbereich.

2. Wählen Sie unter Alle öffentlichen Modelle ein Modell aus, das Sie bereitstellen möchten.

   Anmerkung

   Wenn Sie ein geschlossenes Modell ausgewählt haben, müssen Sie die Endbenutzer-Lizenzvereinbarung (EULA) akzeptieren.

3. Wählen Sie SageMaker HyperPod.

4. Unter Bereitstellungseinstellungen JumpStart wird eine Instanz für die Bereitstellung empfohlen. Sie können diese Einstellungen bei Bedarf ändern.

   1. Wenn Sie den Instanztyp ändern, stellen Sie sicher, dass er mit dem ausgewählten HyperPod Cluster kompatibel ist. Wenn es keine kompatiblen Instances gibt, müssen Sie einen neuen HyperPod Cluster auswählen oder Ihren Administrator kontaktieren, um dem Cluster kompatible Instances hinzuzufügen.

   2. Um die Modellbereitstellung zu priorisieren, installieren Sie das Task Governance-Addon, erstellen Sie Rechenzuweisungen und richten Sie Aufgabenranglisten für die Cluster-Richtlinie ein. Sobald dies erledigt ist, sollte Ihnen eine Option angezeigt werden, mit der Sie eine Priorität für die Modellbereitstellung auswählen können. Diese Option kann verwendet werden, um anderen Bereitstellungen und Aufgaben auf dem Cluster vorzubeugen.

   3. Geben Sie den Namespace ein, auf den Ihr Administrator Ihnen Zugriff gewährt hat. Möglicherweise müssen Sie sich direkt an Ihren Administrator wenden, um den genauen Namespace zu erhalten. Sobald ein gültiger Namespace bereitgestellt wurde, sollte die Schaltfläche Bereitstellen aktiviert sein, um das Modell bereitzustellen.

5. Wählen Sie Deploy und warten Sie, bis der Endpoint erstellt ist.

6. Nachdem der Endpunkt erstellt wurde, wählen Sie Test Inference aus.

Bearbeiten Sie eine Bereitstellung HyperPod

1. Wählen Sie in Amazon SageMaker Studio im linken Navigationsbereich Compute und dann HyperPodCluster aus.

2. Wählen Sie unter Bereitstellungen die HyperPod Cluster-Bereitstellung aus, die Sie ändern möchten.

3. Wählen Sie auf dem Symbol mit den vertikalen Auslassungspunkten () die Option Bearbeiten aus.

4. Unter Bereitstellungseinstellungen können Sie Auto-Scaling aktivieren oder deaktivieren und die Anzahl der Max Replicas ändern.

5. Wählen Sie Save (Speichern).

6. Der Status ändert sich in Aktualisierung. Sobald der Status wieder in Betrieb ist, sind Ihre Änderungen abgeschlossen und Sie erhalten eine Bestätigungsmeldung.

Löschen Sie eine HyperPod Bereitstellung

1. Wählen Sie in Amazon SageMaker Studio im linken Navigationsbereich Compute und dann HyperPodCluster aus.

2. Wählen Sie unter Bereitstellungen die HyperPod Cluster-Bereitstellung aus, die Sie ändern möchten.

3. Wählen Sie auf dem Symbol mit den vertikalen Auslassungspunkten () die Option Löschen aus.

4. Aktivieren Sie im Fenster „ HyperPod Bereitstellung löschen“ das Kontrollkästchen.

5. Wählen Sie Löschen aus.

6. Der Status ändert sich in Löschen. Sobald die HyperPod Bereitstellung gelöscht wurde, wird eine Bestätigungsmeldung angezeigt.