Unterstützte Instance-Typen und Frameworks

Amazon SageMaker Neo unterstützt beliebte Deep-Learning-Frameworks sowohl für die Kompilierung als auch für die Bereitstellung. Sie können Ihr Modell auf Cloud-Instanzen oder AWS Inferentia-Instanztypen bereitstellen.

Im Folgenden werden die Frameworks beschrieben, die SageMaker Neo unterstützt, und die Ziel-Cloud-Instanzen, auf denen Sie kompilieren und bereitstellen können. Informationen zur Bereitstellung Ihres kompilierten Modells in einer Cloud- oder Inferentia-Instace finden Sie unter Bereitstellen eines Modells mit Cloud-Instances.

Cloud-Instances

SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für CPU und GPU Cloud-Instanzen:

Framework	Framework-Version	Modellversion	Modelle	Modellformate (in *.tar.gz verpackt)	Toolkits
MXNet	1.8.0	Unterstützt 1.8.0 oder früher	Image-Klassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung	MXNET: Neo erwartet eine einzelne Symboldatei (.json) und eine einzelne Parameterdatei (.params)	GluonCV v0.8.0
ONNX	1.7.0	Unterstützt 1.7.0 oder früher	Bildklassifizierung, SVM	Eine Modelldatei (.onnx)
Keras	2.2.4	Unterstützt 2.2.4 oder früher	Bildklassifizierung	Eine Modelldefinitionsdatei (.h5)
PyTorch	1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 oder 2.0	Unterstützt 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 und 2.0	Bildklassifizierung Die Versionen 1.13 und 2.0 unterstützen Objekterkennung, Vision Transformer und HuggingFace	Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32
TensorFlow	1.15.3 oder 2.9	Unterstützt 1.15.3 und 2.9	Bildklassifizierung	Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei
XGBoost	1.3.3	Unterstützt 1.3.3 oder früher	Entscheidungsbäume	Eine XGBoost Modelldatei (.model), in der die Anzahl der Knoten in einem Baum weniger als 2^31 beträgt

Anmerkung

„Modellversion“ ist die Version des Frameworks, das zum Trainieren und Exportieren des Modells verwendet wird.

Instance-Typen

Sie können Ihr SageMaker kompiliertes Modell auf einer der unten aufgeführten Cloud-Instanzen bereitstellen:

Instance	Datenverarbeitungstyp
ml_c4	Standard
ml_c5	Standard
ml_m4	Standard
ml_m5	Standard
ml_p2	Beschleunigtes Computing
ml_p3	Beschleunigtes Computing
ml_g4dn	Beschleunigtes Computing

Informationen zur verfügbaren VCPU, zum Arbeitsspeicher und zum Preis pro Stunde für jeden Instance-Typ finden Sie unter SageMaker Amazon-Preise.

Anmerkung

Verwenden Sie bei der Kompilierung für ml_* Instances mithilfe PyTorch des Frameworks das Feld Compiler-Optionen in der Ausgabekonfiguration, um den richtigen Datentyp (dtype) der Modelleingabe anzugeben.

Der Standard ist auf "float32" gesetzt.

AWS Inferenz

SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für Inf1:

Framework	Framework-Version	Modellversion	Modelle	Modellformate (in *.tar.gz verpackt)	Toolkits
MXNet	1.5 oder 1.8	Unterstützt 1.8, 1.5 und früher	Bildklassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung	MXNET: Neo erwartet eine einzelne Symboldatei (.json) und eine einzelne Parameterdatei (.params)	GluonCV v0.8.0
PyTorch	1.7, 1.8 oder 1.9	Unterstützt 1.9 und früher	Bildklassifizierung	Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32
TensorFlow	1.15 oder 2.5	Unterstützt 2.5, 1.15 und früher	Bildklassifizierung	Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei

Anmerkung

„Modellversion“ ist die Version des Frameworks, das zum Trainieren und Exportieren des Modells verwendet wird.

Sie können Ihr SageMaker NEO-kompiliertes Modell auf AWS Inferentia-basierten Amazon Inf1-Instances bereitstellen. EC2 AWS Inferentia ist der erste kundenspezifische Siliziumchip von Amazon, der entwickelt wurde, um Deep Learning zu beschleunigen. Derzeit können Sie die ml_inf1 Instance verwenden, um Ihre kompilierten Modelle bereitzustellen.

AWS Inferentia2 und Trainium AWS

Derzeit können Sie Ihr SageMaker NEO-kompiliertes Modell auf AWS Inferentia2-basierten Amazon EC2 Inf2-Instances (in der Region USA Ost (Ohio)) und auf AWS Trainium-basierten Amazon EC2 Trn1-Instances (in der Region USA Ost (Nord-Virginia)) bereitstellen. Weitere Informationen zu den unterstützten Modellen auf diesen Instances finden Sie unter Model Architecture Fit Guidelines in der Neuron-Dokumentation und in den Beispielen im AWS Neuron Github-Repository.