支援的執行個體類型和架構

Amazon SageMaker Neo 支援適用於編譯和部署的熱門深度學習架構。您可以將模型部署至雲端執行個體或 AWS Inferentia 執行個體類型。

以下說明 SageMaker Neo 支援的架構以及您可以編譯和部署的目標雲端執行個體。如需如何將已編譯的模型部署到雲端或 Inferentia 執行個體的詳細資訊，請參閱使用雲端執行個體部署模型。

雲端執行個體

SageMaker Neo 支援下列適用於 CPU 和 GPU 雲端執行個體的深度學習架構：

架構	框架版本	模型版本	模型	模型格式 (以 *.tar.gz 封裝)	工具組
MXNet	1.8.0	支援 1.8.0 或更早版本	影像分類、物件偵測、語意分割、姿勢估算、活動辨識	一個符號檔案 (.json) 和一個參數檔案 (.params)	GluonCV v0.8.0
ONNX	1.7.0	支援 1.7.0 或更早版本	影像影像分類、SVM	一個模型檔案 (.onnx)
Keras	2.2.4	支援 2.2.4 或更早版本	影像分類	一個模型定義檔案 (.h5)
PyTorch	1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0	支援 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0	影像分類 第 1.13 版和第 2.0 版支援物件偵測、視覺轉換器和 HuggingFace	一個具有輸入 dtype 之 float32 的模型定義檔案 (.pt 或 .pth)
TensorFlow	1.15.3 或 2.9	支援 1.15.3 或 2.9	影像分類	針對儲存的模型，有一個 .pb 或一個 .pbtxt 檔案，以及包含變數的變數目錄 針對凍結的模型，只有一個 .pb 或 .pbtxt 檔案
XGBoost	1.3.3	支援 1.3.3 或更早版本	決策樹	一個 XGBoost 模型檔案 (模型)，其中樹中的節點數量低於 2^31

注意

“模型版本” 是用來訓練和匯出模型的架構版本。

執行個體類型

您可以將 SageMaker AI 編譯模型部署至下列其中一個雲端執行個體：

執行個體	運算類型
ml_c4	標準
ml_c5	標準
ml_m4	標準
ml_m5	標準
ml_p2	加速運算
ml_p3	加速運算
ml_g4dn	加速運算

如需每種執行個體類型之可用 vCPU、記憶體和每小時價格的資訊，請參閱 Amazon SageMaker 定價。

注意

使用 PyTorch 架構編譯 ml_* 執行個體時，請使用輸出組態中的編譯器選項欄位來提供模型輸入的正確資料類型 (dtype)。

預設設定為 "float32"。

AWS 推論

SageMaker Neo 支援下列適用於 Inf1 的深度學習架構：

架構	框架版本	模型版本	模型	模型格式 (以 *.tar.gz 封裝)	工具組
MXNet	1.5 或 1.8	支援 1.8、1.5 或更早版本	影像分類、物件偵測、語意分割、姿勢估算、活動辨識	一個符號檔案 (.json) 和一個參數檔案 (.params)	GluonCV v0.8.0
PyTorch	1.7, 1.8 或 1.9	支援 1.9 或更早版本	影像分類	一個具有輸入 dtype 之 float32 的模型定義檔案 (.pt 或 .pth)
TensorFlow	1.15 或 2.5	支援 2.5、1.15 或更早版本	影像分類	針對儲存的模型，有一個 .pb 或一個 .pbtxt 檔案，以及包含變數的變數目錄 針對凍結的模型，只有一個 .pb 或 .pbtxt 檔案

注意

“模型版本” 是用來訓練和匯出模型的架構版本。

您可以將 SageMaker Neo 編譯模型部署至 Inferentia 型 AWS Amazon EC2 Inf1 執行個體。 AWS Inferentia 是 Amazon 第一個自訂晶片，旨在加速深度學習。目前，您可以使用 ml_inf1 執行個體來部署已編譯的模型。

AWS Inferentia2 和 AWS Trainium

目前，您可以將 SageMaker Neo 編譯的模型部署至 AWS Inferentia2-based Amazon EC2 Inf2 執行個體 （美國東部 （俄亥俄） 區域），以及部署至 AWS Trainium 型 Amazon EC2 Trn1 執行個體 （美國東部 （維吉尼亞北部） 區域）。如需這些執行個體上支援模型的詳細資訊，請參閱 AWS Neuron 文件中的模型架構擬合指南，以及 Neuron Github 儲存庫中的範例。