本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
監控生產中模型的偏差偏離
Amazon SageMaker 澄清偏差監控可協助資料科學家和機器學習工程師定期監控偏差的預測。當模型受到監控時，客戶可以在 SageMaker Studio 中檢視可匯出的報告和圖表，並在 Amazon CloudWatch 中設定警示，以便在偵測到超過特定閾值的偏差時接收通知。當訓練資料與部署期間模型所看到的資料 (也就是即時資料) 不同時，可能會在部署的機器學習 (ML) 模型中導致或加劇偏差。即時資料分佈中這些類型的變更可能是暫時性的 (例如，由於某些短暫、真實世界的事件)或永久性的。無論哪種情況，偵測這些變更都很重要。例如，如果用於訓練模型的抵押貸款利率與目前真實世界的抵押貸款利率不同，則用於預測房屋價格的模型輸出可能會變得偏差。透過 Model Monitor 中的偏差偵測功能，當 SageMaker 偵測到偏差超過特定閾值時，它會自動產生您可以在 SageMaker Studio 和透過 Amazon CloudWatch 警示檢視的指標。
一般而言，僅在 train-and-deploy 相位期間測量偏差可能不夠。部署模型之後，部署模型所看到的資料分佈 (也就是即時資料) 可能與訓練資料集中的資料分佈不同。在一段時間後，此變更可能會導致模型中的偏差。即時資料分佈的變更可能是暫時的 (例如，由於某些短暫的行為，如假期節日) 或永久性的。無論哪種情況，偵測這些變更並在適當時採取措施以減少偏差很重要。
為了偵測這些變更， SageMaker Cline 提供了持續監控已部署模型偏差指標的功能，並在指標超過臨界值時提出自動警示。例如，考量 DPPL 偏差指標。指定允許的值範圍 A=(amin,amax)，例如 DPPL 在部署期間應屬於的間隔 (-0.1, 0.1)。此範圍之間的任何偏差都應提出偵測到偏差的警示。使用 SageMaker 澄清，您可以定期執行這些檢查。
例如，您可以將檢查頻率設為 2 天。這表示「 SageMaker 澄清」會根據 2 天期間內收集的資料計算 DPPL 量度。在此範例中，Dwin 是模型在過去 2 天期間內處理的資料。如果在 Dwin 上計算的 DPPL 值 bwin 超出允許的範圍 A，則會發出警示。檢查 bwin 是否超出 A 的這種方法可能會有些嘈雜。Dwin 可能由極少數樣本組成，並且可能不代表即時資料分佈。小型樣本意味著在 Dwin 上計算的偏差 bwin 值可能不是非常強大的估計值。事實上，非常高 (或低) 的 bwin 值可能純粹是由於機會而觀察到的。為了確保從觀察到的數據 D 得出的結論在統計上具win有顯著性， SageMaker 澄清使用置信區間。具體而言，它使用正常啟動程序間隔方法來構建一個間隔 C = (cmin, cmax)，以便 SageMaker 澄清確信，通過完整實時數據計算的真正偏置值被包含在 C 中具有很高的概率。現在，如果置信區間 C 與允許的範圍 A 重疊，則 Cverline 會將其解 SageMaker 釋為「即時資料分佈的偏差量度值很可能落在允許的範圍內」。如果 C 和 A 是脫離的，則 SageMaker 澄清相信偏差指標不位於 A 中並引發警報。
模型監控取樣筆記本
Amazon SageMaker 澄清提供下列範例筆記本，其中顯示如何擷取即時端點的推論資料、建立基準以監控不斷發展的偏差，以及檢查結果：
-
監控偏差漂移和功能歸因漂移 Amazon SageMaker 澄清
— 使用 Amazon SageMaker 模型監視器監控偏差漂移，並隨時間推移的功能歸因漂移。
這款筆記型電腦已經過驗證，只能在 Amazon SageMaker 工作室中執行。如果您需要有關如何在 Amazon SageMaker Studio 中打開筆記本的說明，請參閱創建或打開 Amazon SageMaker 工作室經典筆記本。如果系統提示您選擇核心，請選擇 Python 3 (資料科學)。下列主題包含最後兩個步驟的重點內容，其中包含範例筆記本的程式碼範例。
