模型效能指標

模型訓練完成後，Amazon Fraud Detector 會使用未用於訓練模型的 15% 資料來驗證模型效能。您可以期待訓練有素的 Amazon Fraud Detector 模型具有與驗證效能指標類似的真實世界詐騙偵測效能。

作為一家企業，您必須在檢測更多欺詐行為和向合法客戶增加更多摩擦之間取得平衡。為了協助選擇適當的平衡，Amazon Fraud Detector 提供下列工具來評估模型效能：

• 分數分佈圖 — 模型評分分佈的直方圖假設範例人口為 100,000 個事件。左 Y 軸代表合法事件，右 Y 軸代表欺詐事件。您可以按一下圖表區域來選取特定的模型臨界值。這將更新混淆矩陣和 ROC 圖表中的對應視圖。

• 混淆矩陣 — 透過比較模型預測與實際結果來摘要指定評分臨界值的模型準確度。Amazon Fraud Detector 假設範例人口為 100,000 個事件。欺詐和合法事件的分佈模擬了您企業的欺詐率。

  • 真正的陽性 — 該模型預測欺詐行為，事件實際上是欺詐。

  • 誤報 — 該模型預測欺詐，但事件實際上是合法的。

  • 真正的負面因素 — 模型預測是合法的，事件實際上是合法的。

  • 假陰性 — 該模型預測是合法的，但事件實際上是欺詐。

  • 真正利率 (TPR) — 模型偵測到的總詐騙百分比。也稱為擷取速率。

  • 誤判率 (FPR) — 錯誤預測為詐騙的合法事件總數的百分比。

• 接收器運算子曲線 (ROC) — 將真正率繪製為所有可能模型評分閾值的誤判率函數。選擇進階測量結果來檢視此圖表。

• 曲線下方區域 (AUC) — 彙總所有可能的模型評分閾值的 TPR 和 FPR。沒有預測功率的模型 AUC 為 0.5，而完美模型的分數為 1.0。

• 不確定性範圍 — 它顯示了從模型預期的 AUC 範圍。較大的範圍（AUC 的上限和下限差異 > 0.1）意味著更高的模型不確定性。如果不確定性範圍很大 (>0.1)，請考慮提供更多標籤的事件並重新訓練模型。

使用模型效能測量結果

1. 從分數分佈圖開始，查看您的欺詐和合法事件的模型分數分佈。理想情況下，您將在欺詐和合法事件之間有明確的分離。這表示模型可以準確識別哪些事件是欺詐性的，哪些是合法的。按一下圖表區域以選取模型臨界值。您可以看到調整模型評分閾值如何影響您的真正和誤判率。

   注意

   分數分佈圖繪製兩個不同 Y 軸上的欺詐和合法事件。左 Y 軸代表合法事件，右 Y 軸代表欺詐事件。

2. 檢閱混淆矩陣。根據您選取的模型評分閾值，您可以根據 100,000 個事件的樣本查看模擬影響。欺詐和合法事件的分佈模擬了您企業的欺詐率。使用此資訊找出真正率與誤判率之間的適當平衡。

3. 如需其他詳細資訊，請選擇進階量度。使用 ROC 圖表瞭解任何模型評分閾值的真正率與誤判率之間的關係。ROC 曲線可以幫助您微調真正率和誤判率之間的權衡。

   注意

   您也可以選擇「表格」，以表格形式檢閱量度。

   表格檢視也會顯示測量結果精確度。與預測為欺詐的所有事件相比，Precision 是正確預測為欺詐事件的百分比。

4. 使用效能指標，根據您的目標和詐騙偵測使用案例，決定企業的最佳模型閾值。例如，如果您計劃使用模型將新帳戶註冊分類為高、中或低風險，則需要識別兩個臨界值評分，以便草擬三個規則條件，如下所示：

   • 分數 > X 是高風險

   • 分數 < X but > Y 為中等風險

   • 分數 < Y 是低風險