サポートされるインスタンスタイプとフレームワーク

Amazon SageMaker Neo は、コンパイルとデプロイの両方で一般的な深層学習フレームワークをサポートしています。モデルは、クラウドインスタンス、 AWS Inferentia インスタンスタイプ、または Amazon Elastic Inference アクセラレーターにデプロイできます。

以下に、 SageMaker Neo がサポートするフレームワークと、コンパイルしてデプロイできるターゲットクラウドインスタンスについて説明します。コンパイル済みのモデルをクラウドまたは Inferentia インスタンスにデプロイする方法については、「クラウドインスタンスにモデルをデプロイする」を参照してください。Elastic Inference アクセラレーターにコンパイル済みのモデルをデプロイする方法については、「Amazon SageMaker ホストエンドポイントで EI を使用する」を参照してください。

クラウドインスタンス

SageMaker Neo は、CPU および GPU クラウドインスタンスに対して次の深層学習フレームワークをサポートしています。

フレームワーク	フレームワークのバージョン	モデルのバージョン	モデル	モデル形式 (*.tar.gz 内にパッケージ)	ツールキット
MXNet	1.8.0	1.8.0 以前をサポート	イメージ分類、オブジェクト検出、セマンティックセグメンテーション、姿勢推定、行動認識	シンボルファイル (.json) を 1 つ、パラメータファイル (.params) を 1 つ	GluonCV v0.8.0
ONNX	1.7.0	1.7.0 以前をサポート	イメージ分類、SVM	モデルファイル (.onnx) を 1 つ
Keras	2.2.4	2.2.4 以前をサポート	イメージ分類	モデル定義ファイル (.h5) を 1 つ
PyTorch	1.4、1.5、1.6、1.7、1.8、1.12、1.13、または 2.0	1.4、1.5、1.6、1.7、1.8、1.12、1.13、2.0 をサポート	イメージ分類 バージョン 1.13 および 2.0 では、オブジェクト検出、ビジョントランスフォーマー、および がサポートされています。 HuggingFace	入力 dtype が float32 のモデル定義ファイル (.pt または .pth) を 1 つ
TensorFlow	1.15.3 または 2.9	1.15.3、2.9 をサポート	イメージ分類	Saved モデルの場合、.pb ファイルを 1 つまたは .pbtxt ファイルを 1 つ、および変数を含む変数ディレクトリを想定します Frozen モデルの場合は、.pb または .pbtxt ファイルのいずれか 1 つのみ
XGBoost	1.3.3	1.3.3 以前をサポート	決定木	ノード数が 2^31 個未満のツリーの XGBoost モデルファイル (.model) を 1 つ

注記

「モデルのバージョン」は、モデルのトレーニングとエクスポートに使われるフレームワークのバージョンです。

インスタンスタイプ

SageMaker コンパイルしたモデルは、以下に示すクラウドインスタンスの 1 つにデプロイできます。

インスタンス	コンピューティングタイプ
ml_c4	規格
ml_c5	規格
ml_m4	規格
ml_m5	規格
ml_p2	高速コンピューティング
ml_p3	高速コンピューティング
ml_g4dn	高速コンピューティング

各インスタンスタイプで使用可能な vCPU、メモリ、および 1 時間あたりの料金については、「Amazon SageMaker 料金表」を参照してください。

注記

PyTorch フレームワークを使用してml_*インスタンスをコンパイルするときは、出力設定のコンパイラオプションフィールドを使用して、モデルの入力の正しいデータ型 (dtype) を指定します。

デフォルトでは "float32" に設定されています。

AWS 推論

SageMaker Neo は、Inf1 に対して次の深層学習フレームワークをサポートしています。

フレームワーク	フレームワークのバージョン	モデルのバージョン	モデル	モデル形式 (*.tar.gz 内にパッケージ)	ツールキット
MXNet	1.5 または 1.8	1.8、1.5 以前をサポート	イメージ分類、オブジェクト検出、セマンティックセグメンテーション、姿勢推定、行動認識	シンボルファイル (.json) を 1 つ、パラメータファイル (.params) を 1 つ	GluonCV v0.8.0
PyTorch	1.7、1.8 または 1.9	1.9 以前をサポート	イメージ分類	入力 dtype が float32 のモデル定義ファイル (.pt または .pth) を 1 つ
TensorFlow	1.15 または 2.5	2.5、1.15 以前をサポート	イメージ分類	Saved モデルの場合、.pb ファイルを 1 つまたは .pbtxt ファイルを 1 つ、および変数を含む変数ディレクトリを想定します Frozen モデルの場合は、.pb または .pbtxt ファイルのいずれか 1 つのみ

注記

「モデルのバージョン」は、モデルのトレーニングとエクスポートに使われるフレームワークのバージョンです。

SageMaker Neo コンパイルのモデルは AWS 、Inferentia ベースの Amazon EC2 Inf1 インスタンスにデプロイできます。 AWS Inferentia は、深層学習を高速化するために設計された Amazon の最初のカスタムシリコンチップです。現在、ml_inf1 インスタンスを使ってコンパイル済みモデルをデプロイできます。

AWS Inferentia2 と AWS Trainium

現在、 SageMaker Neo でコンパイルされたモデルは、 AWS Inferentia2-based Amazon EC2 Inf2 インスタンス (米国東部 (オハイオ) リージョン) と AWS Trainium ベースの Amazon EC2 Trn1 インスタンス (米国東部 (バージニア北部) リージョン) にデプロイできます。これらのインスタンスでサポートされるモデルの詳細については、 AWS Neuron ドキュメントの「モデルアーキテクチャフィットガイドライン」および Neuron Github リポジトリ の例を参照してください。

Amazon Elastic Inference

SageMaker Neo は、Elastic Inference 用に次の深層学習フレームワークをサポートしています。

フレームワーク	フレームワークのバージョン	モデルのバージョン	モデル	モデル形式 (*.tar.gz 内にパッケージ)
TensorFlow	2.3.2	2.3 をサポート	イメージ分類、オブジェクト検出、セマンティックセグメンテーション、姿勢推定、行動認識	Saved モデルの場合、.pb ファイルを 1 つまたは .pbtxt ファイルを 1 つ、および変数を含む変数ディレクトリ Frozen モデルの場合は、.pb または .pbtxt ファイルのいずれか 1 つのみ。

SageMaker Neo でコンパイルされたモデルは、Elastic Inference Accelerator にデプロイできます。詳細については、「Amazon SageMaker ホストエンドポイントで EI を使用する」を参照してください。