使用 Amazon Model Monitor 進行資料和 SageMaker 模型品質監控 - Amazon SageMaker
運作方式

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Amazon Model Monitor 進行資料和 SageMaker 模型品質監控

Amazon SageMaker Model Monitor 會監控生產環境中 Amazon SageMaker 機器學習模型的品質。透過模型監控，您可以設定：

  • 透過即時端點持續監控。

  • 使用定期執行的批次轉換任務進行持續監控。

  • 非同步批次轉換工作的排程監控。

使用模型監控，您可以設定警示在模型品質出現偏差時通知您。早期主動偵測這些偏差可讓您採取修正動作。您可以採取重新訓練模型、稽核上游系統或修正品質問題等動作，而不必手動監控模型或建置其他工具。您可以使用預先建置監控功能的模型監控，不需要撰寫程式碼。您也可以撰寫程式碼來提供自訂分析，靈活地監控模型。

模型監控會提供下列類型的監控：

主題

Amazon SageMaker Model Monitor 的運作方式

Amazon SageMaker Model Monitor 會自動監控生產中的機器學習 （ML） 模型，並在發生品質問題時通知您。模型監控會使用規則來偵測模型中的偏離，並在發生偏離時向您提出警示。下圖顯示在將模型部署到即時端點的情況下，此程序如何運作。

使用 Amazon Model Monitor SageMaker 的模型監控程序。

您也可以使用模型監控來監控批次轉換工作，而不是即時端點。在此情況下，Model Monitor 不會接收端點的請求並追蹤預測，而是監控推論輸入和輸出。下圖顯示監控批次轉換工作的程序。

使用 Amazon Model Monitor SageMaker 的模型監控程序。

若要啟用模型監控，請執行下列步驟。這些步驟會透過各種資料收集、監控和分析程序遵循資料的路徑。

  • 對於即時端點，啟用端點將傳入請求中的資料擷取到受過訓練的機器學習 (ML) 模型，以及產生的模型預測。

  • 對於批次轉換工作，啟用批次轉換輸入和輸出的資料擷取。

  • 從用來訓練模型的資料集建立基準。基準會計算指標，並建議指標的限制條件。模型的即時或批次預測會與限制條件進行比較。如果它們超出限制值，則會報告為違規。

  • 建立監控排程，指定要收集哪些資料、收集資料的頻率、如何分析資料，以及要產生哪些報告。

  • 檢查報告，將最新的資料與基準進行比較。留意 Amazon 所回報的任何違規事件、指標和通知 CloudWatch。

備註

  • 模型監控只會計算表格式資料的模型指標和統計資料。例如，將影像做為輸入並根據該影像輸出標籤的影像分類模型仍可受監控。模型監控能夠計算輸出的指標和統計資料，而不是輸入。

  • 模型監控目前僅支援託管單一模型的端點，不支援監控多模型端點。如需有關使用多模型端點的資訊，請參閱多模型端點。

  • Model Monitor 支援監控推論管道。不過，擷取和分析資料是針對整個管道，而不是管道中的個別容器。

  • 為了避免對推論要求造成影響，資料擷取會停止擷取需要高磁碟使用量的要求。我們建議您將磁碟使用率保持在 75% 以下，以確保資料擷取持續擷取請求。

  • 如果您在自訂 Amazon 中啟動 SageMaker StudioVPC，則必須建立VPC端點，讓 Model Monitor 與 Amazon S3 和 通訊 CloudWatch。如需VPC端點的相關資訊，請參閱 Amazon Virtual Private Cloud 使用者指南中的VPC端點。如需在自訂 中啟動 SageMaker Studio 的相關資訊VPC，請參閱 將 中的 Studio 筆記本VPC連線至外部資源。

Model Monitor 範例筆記本

如需使用模型監控搭配即時端點完成 end-to-end工作流程的範例筆記本，請參閱 Amazon SageMaker Model Monitor 簡介。

如需可針對監控排程中所選執行來視覺化 statistics.json 檔案的範例筆記本，請參閱 Model Monitor 視覺化。

如需如何建立和存取 Jupyter 筆記本執行個體的指示，可用於在 中執行範例 SageMaker，請參閱 Amazon SageMaker Notebook 執行個體。在您建立並開啟筆記本執行個體之後，請選擇SageMaker 範例索引標籤以查看所有 SageMaker 範例的清單。若要開啟筆記本，請選擇筆記本的使用索引標籤，然後選擇建立複本。