建議任務 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建議任務

Amazon SageMaker 推論推薦人可以提出兩種類型的建議:

  1. 推論建議 (Default 任務類型) 會針對建議的執行個體類型執行一組負載測試。您也可以為無伺服器端點載入測試。您只需要提供模型套件 Amazon Resource Name (ARN),即可啟動此類建議任務。推論建議任務可在 45 分鐘內完成。

  2. 端點建議 (Advanced 任務類型) 是以自訂負載測試為基礎,您可以在其中選取所需的機器學習 (ML) 執行個體或無伺服器端點、提供自訂流量模式,並根據生產需求提供延遲和輸送量需求。根據設定的任務持續時間和測試的推論組態總數,此任務平均需要 2 小時才能完成。

這兩種類型的建議都使用相同的 API 來建立、描述和停止任務。輸出為執行個體組態建議清單,其中包含相關的環境變數、成本、輸送量和延遲等指標。建議工作也提供初始執行個體計數,您可以使用此計數來設定自動調度資源政策。若要區分這兩種類型的工作,當您透過 SageMaker 主控台或 API 建立工作時,請指定Default要建立初步端點建議,以及用Advanced於自訂負載測試和端點建議。

注意

您不需要在自己的工作流程中執行這兩種類型的建議任務。您可以獨立於另一個。

Inference Recommender 也可提供您預期執行個體清單,或針對模型部署的成本、輸送量和延遲進行最佳化的前五個執行個體類型,以及可信度分數。您可以在部署模型時選擇這些執行個體。Inference Recommender 會自動針對您的模型執行基準測試,方便您提供潛在的執行個體。由於這些是初步建議,因此建議您執行進一步的執行個體建議任務,以取得更準確的結果。若要檢視未來的執行個體,請前往 SageMaker 模型詳細資料頁面。如需詳細資訊,請參閱 獲取即時的潛在執行個體