本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
Amazon SageMaker AI 模型品質報告 （也稱為效能報告） 提供 AutoML 任務產生之最佳模型候選項目的洞見和品質資訊。這包含任務詳細資訊、模型問題類型、目標函式及各種指標的相關資訊。本節詳細說明文字分類問題的效能報告內容，並說明如何以 JSON 檔案中的原始資料形式存取指標。
您可以在 BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights 上的 DescribeAutoMLJobV2 回應中，找到針對最佳候選項目產生之模型品質報告成品的 Amazon S3 字首。
效能報告包含兩個區段：
-
第一個區段包含產生該模型的 Autopilot 工作詳細資訊。
-
第二個區段包含具有各種效能指標的模型品質報告。
Autopilot 任務詳細資訊
報告的第一個區段提供有關產生該模型之 Autopilot 工作的一些一般資訊。這些詳細資訊包含下列資訊：
-
Autopilot 候選項目名稱：最佳模型候選項目的名稱。
-
Autopilot 工作名稱：工作的名稱。
-
問題類型：問題類型。在我們的案例中，文字分類。
-
目標指標：用來最佳化模型效能的目標指標。在我們的案例中，準確性。
-
最佳化方向：指出要最小化還是最大化目標指標。
模型品質報告
模型品質資訊由 Autopilot 模型深入分析所產生。產生的報告內容取決於其所處理的問題類型。此報告會指定評估資料集中包含的列數，以及進行評估的時間。
指標資料表
模型品質報告的第一部份包含指標資料表。這些適用於模型所解決的問題類型。
下方影像是 Autopilot 針對影像或文字分類問題所產生的指標表範例。其顯示指標名稱、值和標準差。
圖形化模型效能資訊
模型品質報告的第二部分包含圖形化資訊，可協助您評估模型效能。本節的內容取決於已選取的問題類型。
混淆矩陣
混淆矩陣提供了一種將二進位和多類別分類的模型針對不同問題所做的預測準確度進行視覺化的方法。
假陽性率 (FPR) 和相符 (TPR) 圖形元件的摘要定義如下。
-
正確預測
-
真陽性 (TP)：預測值為 1，且真正的值也是 1。
-
真陰性 (TN)：預測值為 0，且真正的值也是 0。
-
-
錯誤預測
-
假陽性 (FP)：預測值為 1，而真正的值為 0。
-
漏報 (FN)：預測值為 0，但真正的值為 1。
-
模型品質報告中的混淆矩陣包含下列項目。
-
實際標籤的正確和不正確預測的數量和百分比
-
從左上角到右下角的對角線上，準確預測的數量和百分比
-
從右上角到左下角的對角線上，不準確預測的數量和百分比
混淆矩陣上的不正確預測是混淆值。
下方圖表為多類別分類問題的混淆矩陣範例。模型品質報告中的混淆矩陣包含下列項目。
-
垂直軸分為三行，其中包含三個不同的實際標籤。
-
水平軸分為三列，其中包含由模型預測的標籤。
-
色彩列會將較深的色調指定給較大數量的樣本，以視覺方式指出在每個品類中分類的值數量。
在以下範例中，模型正確地預測了標籤 f 的實際 354 個值，標籤 i 為 1094 值，標籤 m 為 852 值。色調的差異表示資料集不平衡，因為值 i 比 f 或 m 有更多的標籤。
所提供的模型品質報告中的混淆矩陣，最多可容納 15 個多類別分類問題類型的標籤。如果與標籤對應的列顯示 Nan 值，則表示用於檢查模型預測的驗證資料集不包含具有該標籤的資料。
