Stellen Sie ein kompiliertes Modell mithilfe der Konsole bereit

Sie müssen den Abschnitt Voraussetzungen erfüllen, wenn das Modell mit AWS SDK for Python (Boto3), der AWS CLI oder der Amazon- SageMaker Konsole kompiliert wurde. Führen Sie die folgenden Schritte aus, um ein SageMaker Neo-kompiliertes Modell mit der SageMaker Konsolehttps://console.aws.amazon.com/ SageMaker zu erstellen und bereitzustellen.

Stellen Sie das Modell bereit

Nachdem Sie die Voraussetzungen erfüllt haben, führen Sie die folgenden Schritte aus, um ein mit Neo kompiliertes Modell bereitzustellen:

1. Wählen Sie Models (Modelle) und dann Create models (Modelle erstellen) in der Gruppe Inference (Inferenz) aus. Füllen Sie auf der Seite Modell erstellen die Felder Modellname, IAM-Rolle und VPC (optional) aus, falls erforderlich.

   

2. Zum Hinzufügen von Informationen über den für die Bereitstellung Ihres Modells verwendeten Container wählen Sie Container hinzufügen und dann Weiter aus. Machen Sie die nötigen Angaben unter Containereingabeoptionen, Speicherort des Inferenzcodeabbilds und Speicherort der Modellartefakte und optional auch unter Containerhostname und Umgebungsvariablen.

   

3. Zum Bereitstellen von mit Neo kompilierten Modellen wählen Sie die folgenden Optionen:

   • Containereingabeoptionen: Wählen Sie Modellartefakte und Inferenzabbilder bereitstellen.

   • Speicherort des Inferenzcode-Bildes: Wählen Sie den URI des Inferenzbildes aus Neo Inference Container Images, abhängig von der AWS Region und der Art der Anwendung.

   • Speicherort des Modell-Artefakts: Geben Sie den Amazon S3 Bucket URI des kompilierten Modell-Artefakts ein, das von der Neo Compilation API erzeugt wurde.

   • Umgebungsvariablen:

     • Lassen Sie dieses Feld für SageMaker XGBoost leer.

     • Wenn Sie Ihr Modell mit trainiert haben SageMaker, geben Sie die Umgebungsvariable SAGEMAKER_SUBMIT_DIRECTORY als Amazon S3-Bucket-URI an, der das Trainingsskript enthält.

     • Wenn Sie Ihr Modell nicht mit trainiert haben SageMaker, geben Sie die folgenden Umgebungsvariablen an:

       Schlüssel	Werte für MXNet und PyTorch	Werte TensorFlow
       SAGEMAKER_PROGRAM	inference.py	inference.py
       SAGEMAKER_SUBMIT_DIRECTORY	/opt/ml/modell/code	/opt/ml/modell/code
       SAGEMAKER_CONTAINER_LOG_LEVEL	20	20
       SAGEMAKER_REGION	<your region>	<your region>
       MMS_DEFAULT_RESPONSE_TIMEOUT	500	Lassen Sie dieses Feld leer für TF.

4. Vergewissern Sie sich, dass die Informationen zu den Containern richtig sind, und klicken Sie dann auf Create Model (Modell erstellen). Wählen Sie auf der Modell Landingpage erstellen die Option Endpunkt erstellen aus.

   

5. Geben Sie im Bereich Endpunkt erstellen und konfigurieren unter Endpunktname den Namen des Endpunkts an. Wählen Sie für Endpunktkonfiguration anhängen die Option Neue Endpunktkonfiguration erstellen aus.

   

6. Geben Sie auf der Seite Neue Endpunktkonfiguration unter Endpunktkonfigurationsname den Namen der Endpunktkonfiguration an.

   

7. Wählen Sie neben dem Namen des Modells die Option Bearbeiten aus und geben Sie auf der Seite Produktionsvariante bearbeiten den richtigen Instance-Typ an. Der Wert unter Instance-Typ muss unbedingt mit dem in Ihrem Kompilierungsauftrag angegebenen Instance-Typ übereinstimmen.

   

8. Wählen Sie Speichern.

9. Wählen Sie auf der Seite Neue Endpunktkonfiguration die Option Endpunktkonfiguration erstellen und dann Endpunkt erstellen aus.