主機模型以及預處理邏輯作為一個端點後面的序列推論管道 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

主機模型以及預處理邏輯作為一個端點後面的序列推論管道

推論管道是一種 Amazon SageMaker 模型,由兩到十五個容器組成的線性序列組成,該容器可處理資料推論請求。您可以使用推論管道來定義和部署任何預先訓練的 SageMaker 內建演算法組合,以及您自己封裝在 Docker 容器中的自訂演算法。您可以使用推論管道來合併預先處理、預測及後續處理資料科學任務。推論管道是全受管。

您可以新增 SageMaker Spark ML 服務和 scikit 學習容器,以重複使用為訓練模型開發的資料轉換器。整個組裝的推論管道可視為模型,您可以使用該 SageMaker 模型進行即時預測,或直接處理批次轉換,而無需任何外部預先處理。

在推論管線模型中,將呼叫做為 HTTP 要求序列 SageMaker 處理。管線中的第一個容器會處理初始要求,然後將中繼回應當做要求傳送至第二個容器,依此類推,針對管線中的每個容器。 SageMaker 返回給客戶端的最終響應。

部署管道模型時,請在端點或轉換任務的每個 Amazon 彈性運算雲端 (Amazon EC2) 執行個體上 SageMaker 安裝並執行所有容器。特徵處理和推論以低延遲執行,因為容器共置於同一個 EC2 執行個體。您可以使用 CreateModel 操作或從主控台,定義適用於管道模型的容器。您可以使用Containers參數來設定組成管線的容器PrimaryContainer,而不是設定一個。您也可以指定容器的執行順序。

管道模型是不可變的,但您可以使用 UpdateEndpoint 操作來開發新的模型,以更新推論管道。本模組化在試驗期間支援更大的靈活性。

如需有關如何使用 SageMaker 模型登錄建立推論管線的資訊,請參閱使用模型註冊表註冊和部署模型

使用這項功能無須額外成本。您只需為端點上執行的執行個體付費。

推論管道的範例筆記本

如需示範如何建立和部署推論管道的範例,請參閱具有 Scikit-learn 和線性學習程式的推論管道範例筆記本。如需建立及存取 Jupyter 筆記本執行個體 (可用來執行中範例) 的指示 SageMaker,請參閱。Amazon SageMaker 筆記本實

若要查看所有範例的清單,請在建立並開啟記事 SageMaker 本執行個體之後,選擇 [SageMaker 範例] 索引標籤。有三個推論管道筆記本。剛說明的前兩個推論管道筆記本位於 advanced_functionality 資料夾,第三個筆記本則位於 sagemaker-python-sdk 資料夾。若要開啟筆記本,請選擇其使用標籤,然後選擇建立複本