Unterstützte Instance-Typen und -Frameworks - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Unterstützte Instance-Typen und -Frameworks

AmazonSageMakerNeo unterstützt beliebte Deep-Learning-Frameworks sowohl für die Kompilierung als auch für die Bereitstellung. Sie können Ihr Modell auf Cloud-Instanzen bereitstellen,AWSInferentia-Instanztypen oder Amazon Elastic Inference Inference-Beschleuniger.

Im Folgenden werden Frameworks beschriebenSageMakerNeo unterstützt und die Ziel-Cloud-Instanzen, für die Sie kompilieren und bereitstellen können. Informationen zur Bereitstellung Ihres kompilierten Modells in einer Cloud- oder Inferentia-Instanz finden Sie unterBereitstellen eines Modells mit Cloud-Instancesaus. Informationen zur Bereitstellung Ihres kompilierten Modells mit Elastic Inference Accelerators finden Sie unterVerwenden von EI auf Amazon SageMaker Hosted Endpunktenaus.

Cloud-Instances

SageMakerNeo unterstützt die folgenden Deep Learning-Frameworks für CPU- und GPU-Cloud-Instanzen:

Framework Framework-Version Modellversion Modelle Modellformate (verpackt in *.tar.gz) Toolkits
MXNet 1.8.0 Unterstützt 1.8.0 oder früher Bildklassifizierung, „Object Detection“, „Semantic Segmentation“, „Pose Schätzung“, „Aktivitäten“ Eine Symboldatei (.json) und eine Parameterdatei (.params) GluonCV 0.8.0
ONNX 1.7.0 Unterstützt 1.7.0 oder früher Bildklassifizierung, SVM Eine Modelldatei (.onnx)
Keras 2.2.4 Unterstützt 2.2.4 oder früher Bildklassifizierung Eine Modelldefinitionsdatei (.h5)
PyTorch 1.4, 1.5, 1.6, 1.7 oder 1.8 Unterstützt 1.4, 1.5, 1.6, 1.7 und 1.8 Bildklassifizierung Eine Modelldefinitionsdatei (.pt oder .pth) mit Input dtype von float32
TensorFlow 1.15.3 oder 2.4 Unterstützt 1.15.3 und 2.4 Bildklassifizierung

Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei sowie ein Variablenverzeichnis mit Variablen

Für eingefrorenen Modelle nur eine .pb- oder .pbtxt-Datei

XGBoost 1.3.3 Unterstützt 1.3.3 oder früher Entscheidungsbäume Eine XGBoost-Modelldatei (.model), in der die Anzahl der Knoten in einer Struktur kleiner als 2^31 ist
Anmerkung

„Model Version“ ist die Version des Frameworks, das zum Trainieren und Exportieren des Modells verwendet wird.

Instance-Typen

Sie können Ihre bereitstellenSageMakerkompiliertes Modell für eine der unten aufgeführten Cloud-Instanzen:

Instance Datenberechnungstyp

ml_c4

Standard

ml_c5

Standard

ml_m4

Standard

ml_m5

Standard

ml_p2

Beschleunigtes Computing

ml_p3

Beschleunigtes Computing

ml_g4dn

Beschleunigtes Computing

Informationen über die verfügbare vCPU, den Speicher und den Preis pro Stunde für jeden Instance-Typ finden Sie unterAmazonSageMakerPreiseaus.

Anmerkung

Beim Kompilieren fürml_*Instances mitPyTorchframework, verwendenCompiler-Optionenfield inOutput-Konfigurationum den richtigen Datentyp anzugeben (dtype) der Eingabe des Modells.

Der Standardwert ist auf"float32"aus.

AWSInferentia

SageMakerNeo unterstützt die folgenden Deep Learning-Frameworks für Inferentia:

Framework Framework-Version Modellversion Modelle Modellformate (verpackt in *.tar.gz) Toolkits
MXNet 1.5.1 Unterstützt 1.5.1 oder früher Bildklassifizierung, „Object Detection“, „Semantic Segmentation“, „Pose Schätzung“, „Aktivitäten“ Eine Symboldatei (.json) und eine Parameterdatei (.params) GluonCV 0.8.0
PyTorch 1.7.1 Unterstützt 1.7.1 oder früher Bildklassifizierung Eine Modelldefinitionsdatei (.pt oder .pth) mit Input dtype von float32
TensorFlow 1.15.0 Unterstützt 1.15.0 oder früher Bildklassifizierung

Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei sowie ein Variablenverzeichnis mit Variablen

Für eingefrorenen Modelle nur eine .pb- oder .pbtxt-Datei

Anmerkung

„Model Version“ ist die Version des Frameworks, das zum Trainieren und Exportieren des Modells verwendet wird.

Sie können Ihre bereitstellenSageMakerNeo-kompiliertes Modell zuAWSInferentia-basierte Amazon-EC2-Inf1-InstancesAWS Inferentia ist Amazons erster kundenspezifischer Siliziumchip zur Beschleunigung von Deep Learning. Zurzeit können Sieml_inf1-Instanz, um Ihre kompilierten Modelle bereitzustellen.

Amazon Elastic Inference

SageMakerNeo unterstützt die folgenden Deep Learning-Frameworks für Elastic Inference:

Framework Framework-Version Modellversion Modelle Modellformate (verpackt in *.tar.gz)
TensorFlow 2.3.2 Unterstützt 2.3 Bildklassifizierung, „Object Detection“, „Semantic Segmentation“, „Pose Schätzung“, „Aktivitäten“

Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei sowie ein Variablenverzeichnis mit Variablen.

Für eingefrorenen Modelle nur eine .pb- oder .pbtxt-Datei.

Sie können Ihre bereitstellenSageMakerNeo-kompiliertes Modell zu einem Elastic Inference Accelerator. Weitere Informationen finden Sie unter Verwenden von EI auf Amazon SageMaker Hosted Endpunkten.