Bereitstellen eines Modells

Um ein von Amazon SageMaker Neo kompiliertes Modell auf einem HTTPS-Endpunkt bereitzustellen, müssen Sie den Endpunkt für das Modell mithilfe von Amazon- SageMaker Hosting-Services konfigurieren und erstellen. Derzeit können Entwickler Amazon- SageMaker APIs verwenden, um Module auf ml.c5-, ml.c4-, ml.m5-, ml.m4-, ml.p3-, ml.p2- und ml.inf1-Instances bereitzustellen.

Für Inferentia- und Trainium-Instances müssen die Modelle speziell für diese Instances kompiliert werden. Modelle, die für andere Instance-Typen kompiliert wurden, funktionieren nicht garantiert mit Inferentia- oder Trainium-Instances.

Für Elastic Inference-Beschleuniger müssen Modelle speziell für ml_eia2-Geräte kompiliert werden. Informationen darüber, wie Sie Ihr kompiliertes Modell auf einem Elastic Inference-Beschleuniger bereitstellen, finden Sie unter Verwenden Sie EI auf Amazon SageMaker Hosted Endpoints.

Wenn Sie ein kompiliertes Modell bereitstellen, müssen Sie für das Ziel die gleiche Instance verwenden, die Sie auch für die Kompilierung verwendet haben. Dadurch wird ein SageMaker Endpunkt erstellt, mit dem Sie Inferenzen durchführen können. Sie können ein Neo-kompiliertes Modell mit einer der folgenden Methoden bereitstellen: Amazon SageMaker SDK for Python , SDK for Python (Boto3) AWS Command Line Interface,und die SageMakerKonsole .

Anmerkung

Informationen zur Bereitstellung eines Modells mit AWS CLI, der Konsole oder Boto3 finden Sie unter Neo Inference Container Images, um den Inferenzbild-URI für Ihren primären Container auszuwählen.

Themen

• Voraussetzungen
• Bereitstellen eines kompilierten Modells mit SageMaker dem SDK
• Stellen Sie ein kompiliertes Modell mit Boto3 bereit
• Bereitstellen eines kompilierten Modells mithilfe der AWS CLI
• Stellen Sie ein kompiliertes Modell mithilfe der Konsole bereit