二元模型的深入解析

解譯預測

許多二元分類演算法的實際輸出是一種預測「分數」。此分數指出系統確定指定的觀察屬於正確類別 (真實目標值為 1)。亞馬遜 ML 中二元分類模型輸出的分數範圍介於 0 到 1。此分數的取用者可以決定應將觀察分類為 1 或 0。您可以挑選分類閾值或「分界值」做為分數的比較依據，從而解譯分數。所有分數高於此分界值的觀察，都會將其目標預測為 1；所有分數低於此分界值的觀察，都會將其目標預測為 0。

在亞馬遜 ML 中，預設的分界分數為 0.5。您可以依據您的業務需求，選擇更新此分界值。您可以利用主控台中的視覺效果，了解分界值選擇對於您應用程式的影響。

衡量 ML 模型準確性

Amazon ML 為二元分類模型提供符合業界標準的正確性指標，稱為 (接收者操作特性) 曲線下方的面積 (AUC)。AUC 會測量模型在預測較高分數之正確範例與錯誤範例上的能力，並將兩者相比較。因為這無關乎分界分數，所以您無須選取閾值，就能從 AUC 指標得知模型的預測正確性。

AUC 指標會傳回介於 0 至 1 的小數值。接近 1 的 AUC 值代表 ML 模型準確性很高。值接近 0.5 表示 ML 模型與隨機猜測差異不大。接近 0 的值並不常見，通常表示資料有問題。基本上，若 AUC 接近 0，表示 ML 模型已學會正確模式，但使用這些模式進行的預測會與現實相反 (將 '0' 預測為 '1'，反之亦然)。如需 AUC 的詳細資訊，請參閱 Wikipedia 上的接收者操作特性頁面。

二元模型的基準 AUC 指標為 0.5，這是 ML 假設模型的值，會隨機預測 1 或 0 的答案。您二元 ML 模型的執行效果應優於此值，此模型才有價值。

使用效能視覺化

若要探索 ML 模型的正確性，可以檢評估頁面。此頁面顯示兩個色階分佈圖：a) 評估資料中真實正確 (目標為 1) 之分數的色階分佈圖，以及 b) 評估資料中真實錯誤 (目標為 0) 之分數的色階分佈圖。

具備良好正確性預測的 ML 模型，會將高分預測真實的 1，並將低分預測為真實的 0。完美的模型在 X 軸兩端各有一個色階分佈圖，分別顯示所有得到高分的真實正確，以及所有得到低分的真實錯誤。但 ML 模型會犯錯，而且常見圖表的這兩個色階分佈圖會在特定分數重疊。效能極差的模型無法區分正確與錯誤的類別，而且這兩個類別的色階分佈圖大部分會重疊。

透過視覺效果，您可以得出落入兩種正確預測類型與兩種錯誤預測類型的預測數量。

正確預測

• 真肯定 (TP)：亞馬遜 ML 的預測值為 1，而且真正的值也是 1。

• 真否定 (TN)：亞馬遜 ML 的預測值為 0，而且真正的值也是 0。

錯誤預測

• 假肯定 (FP)：亞馬遜 ML 的預測值為 1，而真正的值也是 0。

• 假否定 (FN)：亞馬遜 ML 的預測值為 0，而真正的值也是 1。

注意

TP、TN、FP 與 FN 的數量取決於選取的分數閾值，而最佳化其中任何一個數量意味著其他數量也會受到影響。TP 數量高通常會導致 FP 的數量高及 TN 數量低。

調整分界分數

ML 模型的運作方式是先產生數值預測分數，然後再套用分界值，將這些分數轉換成二元的 0/1 標籤。只要變更分界分數，就能在模型犯錯時調整其行為。在評估頁面上，可以檢各種分界分數造成的影響，並可儲存分界分數供您的模型使用。

當您調整分界分數的閾值時，請觀察這兩種誤差類型之間的交互影響。將分界值向左移會得到比較多真正的正確，但代價是錯誤的錯誤數量會增加。將此值向右移會得到比較少錯誤的錯誤，但代價是會漏失一些真正的正確。您可以為您自己的預測應用程式選取適當的分界分數，決定比較能容忍的誤差種類。

檢閱進階指標

Amazon ML 另提供正確性、精確度、取回及錯誤的正確率等指標用於測量 ML 模型的預測正確性。

正確性

「正確性」(ACC) 會測量正確預測的分數。範圍介於 0 至 1 之間。值越大，表示預測準確性越高：

精確度

「精確度」會測量真實正確占這些預測為正確之範例的分數。範圍介於 0 至 1 之間。值越大，表示預測準確性越高：

取回

「取回」會測量被預測為正確的真實正確分數。範圍介於 0 至 1 之間。值越大，表示預測準確性越高：

錯誤的正確率

「錯誤的正確率」(FPR) 會測量被預測為正確的誤報率或真實錯誤分數。範圍介於 0 至 1 之間。值愈小表示預測正確性愈佳：

根據您的業務問題，您可能對特定指標子集執行效果良好的模型更感興趣。舉例來說，兩個商務應用程式的 ML 模型在需求上可能截然不同：

• 其中一個應用程式可能需要相當確定正確預測實際上為正確 (高精確度)，並能容忍將一些正確的範例分類為錯誤 (中度取回)。

• 另一個應用程式可能只需要盡可能地正確預測正確的範例 (高度取回)，而且能夠接受將一些錯誤的範例不正確地分類為正確 (中精確度)。

Amazon ML 可讓您選擇分界分數，並將其對應到前述任何進階指標的任一個值。此外，它也會顯示最佳化任何一個指標所帶來的相互影響。例如，若您選取的分界值對應到了高精確度，通常帶來的相互影響就是較低的取回數量。

注意

您必須儲存截止分數，才能有效地分類 ML 模型未來所做的任何預測。