本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
Amazon SageMaker Model Monitor 會監控生產環境中 Amazon SageMaker AI 機器學習模型的品質。透過模型監控，您可以設定：
-
使用即時端點持續監控。
-
使用定期執行的批次轉換任務持續監控。
-
非同步批次轉換任務的排程監控。
使用模型監控，您可以設定警示在模型品質出現偏差時通知您。提早主動偵測這些偏差可讓您採取修正動作。您可以採取重新訓練模型、稽核上游系統或修正品質問題等動作，而不必手動監控模型或建置其他工具。您可以使用預先建置監控功能的模型監控，不需要撰寫程式碼。您也可以撰寫程式碼來提供自訂分析，靈活地監控模型。
模型監控會提供下列類型的監控：
-
資料品質 - 監控資料品質的偏離。
-
模型品質 - 監控模型品質指標中的偏離，例如準確性。
-
生產環境中模型的偏差偏離 - 監控模型預測中的偏差。
-
生產環境中模型的功能屬性偏離 - 監控功能屬性的偏離。
主題
Amazon SageMaker Model Monitor 的運作方式
Amazon SageMaker Model Monitor 會自動監控生產中的機器學習 (ML) 模型，並在發生品質問題時通知您。模型監控會使用規則來偵測模型中的偏離，並在發生偏離時向您提出警示。下圖顯示在將模型部署到即時端點的情況下，此程序如何運作。
您也可以使用模型監控來監控批次轉換工作，而不是即時端點。在此情況下， Model Monitor 會監控推論輸入和輸出，而不是接收端點的請求並追蹤預測。下圖顯示監控批次轉換工作的程序。
若要啟用模型監控，請執行下列步驟。這些步驟會透過各種資料收集、監控和分析程序遵循資料的路徑。
-
對於即時端點，啟用端點將傳入請求中的資料擷取到受過訓練的機器學習 (ML) 模型，以及產生的模型預測。
-
對於批次轉換工作，啟用批次轉換輸入和輸出的資料擷取。
-
從用來訓練模型的資料集建立基準。基準會計算指標，並建議指標的限制條件。模型的即時或批次預測會與限制條件進行比較。如果它們超出限制值，則會報告為違規。
-
建立監控排程，指定要收集哪些資料、收集資料的頻率、如何分析資料，以及要產生哪些報告。
-
檢查報告，將最新的資料與基準進行比較。留意 Amazon CloudWatch 所回報的任何違規、指標和通知。
備註
-
模型監控只會計算表格式資料的模型指標和統計資料。例如，將影像做為輸入並根據該影像輸出標籤的影像分類模型仍可受監控。模型監控能夠計算輸出的指標和統計資料，而不是輸入。
-
模型監控目前僅支援託管單一模型的端點，不支援監控多模型端點。如需有關使用多模型端點的資訊，請參閱多模型端點。
-
Model Monitor 支援監控推論管道。不過，擷取和分析資料是針對整個管道，而不是管道中的個別容器。
-
為了避免對推論要求造成影響，資料擷取會停止擷取需要高磁碟使用量的要求。我們建議您將磁碟使用率保持在 75% 以下，以確保資料擷取持續擷取請求。
-
如果您在自訂 Amazon VPC 中啟動 SageMaker Studio，則必須建立 VPC 端點，讓模型監控與 Amazon S3 和 CloudWatch 通訊。如需有關 VPC 端點的詳細資訊，請參閱 Amazon Virtual Private Cloud 使用者指南中的 VPC 端點。如需有關在自訂 VPC 中啟動 SageMaker Studio 的資訊，請參閱將 VPC 中的 Studio 筆記本連接至外部資源。
Model Monitor 範例筆記本
如需使用模型監控搭配即時端點，引導您完成end-to-end工作流程的範例筆記本，請參閱 Amazon SageMaker Model Monitor 簡介
如需可針對監控排程中所選執行來視覺化 statistics.json 檔案的範例筆記本，請參閱 Model Monitor 視覺化
如需如何建立和存取 Jupyter 筆記本執行個體的指示，您可以使用這些執行個體在 SageMaker AI 中執行範例，請參閱 Amazon SageMaker 筆記本執行個體。在您建立並開啟筆記本執行個體之後，請選擇 SageMaker AI 範例索引標籤，以查看所有 SageMaker AI 範例的清單。若要開啟筆記本，請選擇筆記本的使用索引標籤，然後選擇建立複本。
