獲取即時的潛在執行個體 - Amazon SageMaker

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

獲取即時的潛在執行個體

推論建議程式也可以在您的模型詳細資料頁面上，為您提供潛在執行個體或可能適合您模型的執行個體類 SageMaker 型清單。Inference Recommender 會自動針對您的模型執行初步基準測試，以提供前五大潛在執行個體。由於這些是初步建議，因此建議您執行進一步的執行個體建議任務，以取得更準確的結果。

您可以使用 SageMaker Python SDK 或 SageMaker 主控台 DescribeModelAPI，以程式設計方式檢視模型的潛在執行個體清單。

注意

在此功能可用 SageMaker 之前，您不會獲得在中建立的模型的潛在執行個體。

若要透過主控台檢視您模型的預期執行個體，請執行以下操作：

  1. 移至主 SageMaker 控台的https://console.aws.amazon.com/sagemaker/。

  2. 在左側導覽窗格中，選擇推論，然後選擇模型。

  3. 從模型清單中選擇您的模型。

在模型的詳細資料頁面上，前往要部署模型的預期執行個體區段。以下螢幕擷取畫面顯示了此區段。

模型詳細資訊頁面上預期執行個體清單的螢幕擷取畫面。

在本節中，您可以檢視針對模型部署的成本、輸送量和延遲最佳化的潛在執行個體，以及每個執行個體類型的其他資訊，例如記憶體大小、GPU計數CPU和每小時成本。

如果您決定要對範例承載進行基準測試，並針對模型執行完整推論建議任務，則可以從此頁面啟動預設的推論建議任務。若要透過主控台啟動預設任務，請執行以下操作：

  1. 在要部署模型的潛在執行個體區段的模型詳細資料頁面上，選擇執行推論建議程式任務。

  2. 在快顯對話方塊中，對於用於基準測試承載的 S3 儲存貯體，輸入您為模型儲存範例承載的 Amazon S3 位置。

  3. 針對裝載內容類型，輸入承載資料的MIME類型。

  4. (選擇性) 在使用 SageMaker Neo 編譯模型區段中，對於資料輸入組態，請以字典格式輸入資料形式。

  5. 選擇執行工作。

推論建議程式會啟動工作，您可以從主控台的「推論建議程式」清單頁面檢視工作及其結果。 SageMaker

如果要執行進階任務並執行自訂負載測試，或者想要為任務設置其他設定和參數，請參閱執行自訂負載測試。