Unterstützte Instance-Typen und Frameworks

Amazon SageMaker Neo unterstützt beliebte Deep-Learning-Frameworks sowohl für die Kompilierung als auch für die Bereitstellung. Sie können Ihr Modell auf Cloud-Instances, AWS Inferentia-Instance-Typen oder Amazon Elastic Inference-Beschleunigern bereitstellen.

Im Folgenden werden die von SageMaker Neo unterstützten Frameworks und die Ziel-Cloud-Instances beschrieben, auf denen Sie kompilieren und bereitstellen können. Informationen zur Bereitstellung Ihres kompilierten Modells in einer Cloud- oder Inferentia-Instace finden Sie unter Bereitstellen eines Modells mit Cloud-Instances. Informationen zur Bereitstellung Ihres kompilierten Modells mit Elastic Inference Acceleratoren finden Sie unter Verwenden von EI auf von Amazon SageMaker gehosteten Endpunkten.

Cloud-Instances

SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für CPU- und GPU-Cloud-Instances:

Framework	Framework-Version	Modellversion	Modelle	Modellformate (in *.tar.gz verpackt)	Toolkits
MXNet	1.8.0	Unterstützt 1.8.0 oder früher	Image-Klassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung	Eine Symboldatei (.json) und eine Parameterdatei (.params)	GluonCV v0.8.0
ONNX	1.7.0	Unterstützt 1.7.0 oder früher	Image-Klassifizierung, SVM	Eine Modelldatei (.onnx)
Keras	2.2.4	Unterstützt 2.2.4 oder früher	Bildklassifizierung	Eine Modelldefinitionsdatei (.h5)
PyTorch	1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 oder 2.0	Unterstützt 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 und 2.0	Bildklassifizierung Die Versionen 1.13 und 2.0 unterstützen Objekterkennung, Vision-Transformierung und HuggingFace	Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32
TensorFlow	1.15.3 oder 2.9	Unterstützt 1.15.3 und 2.9	Bildklassifizierung	Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei
XGBoost	1.3.3	Unterstützt 1.3.3 oder früher	Entscheidungsbäume	Eine XGBoost-Modelldatei (.model), in der die Anzahl der Knoten in einem Baum weniger als 2^31 beträgt

Anmerkung

„Modellversion“ ist die Version des Frameworks, das zum Schulen und Exportieren des Modells verwendet wird.

Instance-Typen

Sie können Ihr mit SageMaker kompiliertes Modell auf einer der unten aufgeführten Cloud-Instances bereitstellen:

Instance	Datenverarbeitungstyp
ml_c4	Standard
ml_c5	Standard
ml_m4	Standard
ml_m5	Standard
ml_p2	Beschleunigtes Computing
ml_p3	Beschleunigtes Computing
ml_g4dn	Beschleunigtes Computing

Informationen zur verfügbaren vCPU, zum Arbeitsspeicher und zum Preis pro Stunde für jeden Instance-Typ finden Sie unter Amazon SageMaker-Preisgestaltung.

Anmerkung

Verwenden Sie beim Kompilieren für ml_* Instances mit dem PyTorch-Framework das Feld Datenverarbeitungsoptionen in der Ausgabekonfiguration, um den richtigen Datentyp (dtype) der Modelleingabe anzugeben.

Der Standard ist auf "float32" gesetzt.

AWS Inferentia

SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für Inf1:

Framework	Framework-Version	Modellversion	Modelle	Modellformate (in *.tar.gz verpackt)	Toolkits
MXNet	1.5 oder 1.8	Unterstützt 1.8, 1.5 und früher	Bildklassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung	Eine Symboldatei (.json) und eine Parameterdatei (.params)	GluonCV v0.8.0
PyTorch	1.7, 1.8 oder 1.9	Unterstützt 1.9 und früher	Bildklassifizierung	Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32
TensorFlow	1.15 oder 2.5	Unterstützt 2.5, 1.15 und früher	Bildklassifizierung	Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei

Anmerkung

„Modellversion“ ist die Version des Frameworks, das zum Schulen und Exportieren des Modells verwendet wird.

Sie können Ihr mit SageMaker Neo kompiliertes Modell auf AWS Inferentia-basierten Amazon EC2 Inf1-Instances bereitstellen. AWS Inferentia ist der erste kundenspezifische Siliziumchip von Amazon, der Deep Learning beschleunigen soll. Derzeit können Sie die ml_inf1 Instance verwenden, um Ihre kompilierten Modelle bereitzustellen.

AWS Inferentia2 und AWS Trainium

Derzeit können Sie Ihr mit SageMaker Neo kompiliertes Modell auf AWS Inferentia2-basierten Amazon EC2 Inf2-Instances (in der Region US East (Ohio)) und auf AWS Trainium-basierten Amazon EC2 Trn1-Instances (in der Region US East (N. Virginia)) bereitstellen. Weitere Informationen zu den unterstützten Modellen auf diesen Instances finden Sie unter Model Architecture Fit Richtlinien in der AWS Neuron-Dokumentation und in den Beispielen im Neuron Github-Repository.

Amazon Elastic Inference

SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für Elastic Inference:

Framework	Framework-Version	Modellversion	Modelle	Modellformate (in *.tar.gz verpackt)
TensorFlow	2.3.2	Unterstützt 2.3	Bildklassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung	Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält. Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei.

Sie können Ihr mit SageMaker Neo kompiliertes Modell auf einem Elastic Inference Accelerator bereitstellen. Weitere Informationen finden Sie unter Verwenden von EI auf von Amazon SageMaker gehosteten Endpunkten.