本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon SageMaker Canvas 為不同類型的模型提供概觀和評分資訊。模型分數可協助您判斷模型進行預測時的準確度。額外的評分洞察可以幫助您量化實際值和預測值之間的差異。
若要檢視模型的分析,請執行下列操作:
-
開啟 SageMaker Canvas 應用程式。
-
在左側導覽窗格中選擇我的模型。
-
選擇您建立的模型。
-
在頂部導覽窗格中,選擇分析索引標籤。
-
在分析索引標籤中,您可以檢視模型的概觀和評分資訊。
以下章節描述如何解譯每個模型類型的評分。
評估分類預測模型
概觀索引標籤會顯示每個資料欄的資料欄影響。Column impact (資料欄影響) 是一個百分比分數,用於表示資料欄在進行預測方面,相對於其他資料欄具有多少權重。針對 25% 的資料欄影響,Canvas 將該欄位的預測權重設為 25%,將其他欄位的預測權重設為 75%。
下列螢幕擷取畫面顯示模型的 Accuracy (準確度) 分數,以及 Optimization metric (最佳化指標),這是您在建置模型時選擇最佳化的指標。在此情況下,最佳化指標為準確性。如果您建置模型的新版本,則可以指定不同的最佳化指標。

分類預測模型的 Scoring (評分) 索引標籤使您能夠視覺化所有預測。線段會從頁面左側延伸,表示模型所做的所有預測。線段會在頁面中間聚合在一個垂直的區段上,以表示每個預測與單一類別的比例。從預測的類別中,區段分支至實際類別。您可以透過跟隨預測類別的每個線段到實際類別,從而獲得預測的準確性的視覺理解。
下列影像為您提供 3+ 類別預測模型的 Scoring section (評分區段) 範例。

您也可以檢視進階指標索引標籤,以取得模型效能的詳細資訊,例如進階指標、錯誤密度圖或混淆矩陣。若要進一步了解進階指標索引標籤,請參閱 在分析中使用進階指標。
評估數值預測模型
Overview (概觀) 索引標籤會顯示每個資料欄的資料欄影響。Column impact (資料欄影響) 是一個百分比分數,用於表示資料欄在進行預測方面,相對於其他資料欄具有多少權重。針對 25% 的資料欄影響,Canvas 將該欄位的預測權重設為 25%,將其他欄位的預測權重設為 75%。
下列螢幕擷取畫面顯示 Overview (概觀) 索引標籤上模型的 RMSE 分數,在此情況下為 Optimization metric (最佳化指標)。Optimization metric (最佳化指標) 是您在建置模型時選擇最佳化的指標。如果您建置模型的新版本,則可以指定不同的最佳化指標。

用於數值預測的 Scoring (評分) 標籤會顯示一條線,以指出模型的預測值與用於進行預測資料的關係。數值預測的值通常為 +/- RMSE (均方根誤差值)。該模型預測的值通常是在 RMSE 的範圍內。該行周圍的紫色帶寬度表示 RMSE 範圍。預測值通常落在範圍內。
下列影像顯示了用於數值預測的 Scoring (評分) 區段。

您也可以檢視進階指標索引標籤,以取得模型效能的詳細資訊,例如進階指標、錯誤密度圖或混淆矩陣。若要進一步了解進階指標索引標籤,請參閱 在分析中使用進階指標。
評估時間序列預測模型
在時間序列預測模型的 Analyze (分析) 頁面上,您可以查看模型指標的概觀。您可以將滑鼠游標移至每個指標上以取得詳細資訊,或者您可以查看 在分析中使用進階指標 以取得每個指標的詳細資訊。
在資料欄影響區段,您可以看到各欄的分數。資料欄影響是一個百分比分數,用於表示資料欄在進行預測方面,相對於其他資料欄具有多少權重。針對 25% 的資料欄影響,Canvas 將該欄位的預測權重設為 25%,將其他欄位的預測權重設為 75%。
下列螢幕擷取畫面顯示模型的時間序列指標分數,以及 Optimization metric (最佳化指標),這是您在建置模型時選擇最佳化的指標。在此情況下,Optimization metric (最佳化指標) 為 RMSE。如果您建置模型的新版本,則可以指定不同的最佳化指標。這些指標分數取自您的回測結果,可在成品索引標籤中下載。

Artifacts 索引標籤可讓您存取數個關鍵資源,可用來深入了解模型的效能並繼續迭代:
-
隨機的訓練和驗證分割 – 本節包含將資料集分割為訓練和驗證集時產生的成品連結,可讓您檢閱資料分佈和潛在的偏差。
-
回測結果 – 本節包含驗證資料集的預測值連結,用於產生模型的準確性指標和評估資料。
-
準確度指標 – 本節列出評估模型效能的進階指標,例如根平均平方錯誤 (RMSE)。如需每個指標的詳細資訊,請參閱 時間序列預測的指標。
-
可解釋性報告 – 本節提供下載可解釋性報告的連結,提供模型決策程序的洞見,以及輸入資料欄的相對重要性。此報告可協助您識別需要改進的潛在領域。
在分析頁面上,您也可以選擇下載按鈕,將回溯測試結果、準確性指標和可解釋性報告成品直接下載至本機機器。
評估影像預測模型
Overview (概觀) 索引標籤會顯示 Per label performance (每個標籤效能),為您提供每個標籤所預測影像的整體精確度分數。您可以選擇標籤來查看更具體的詳細資訊,例如標籤的 Correctly predicted (預測正確) 和 Incorrectly predicted (預測不正確) 的影像。
您可以開啟 Heatmap (熱度圖) 切換開關,查看每個影像的熱度圖。熱度圖會顯示模型進行預測時影響最大的感興趣區域。如需有關熱度圖以及如何使用熱度圖改善模型的更多相關資訊,請選擇 Heatmap (熱度圖) 切換開關旁邊的 More info (更多資訊) 圖示。
單一標籤影像預測模型的 Scoring (評分) 索引標籤會顯示模型預測為標籤與實際標籤的比較。您一次最多可以選取 10 個標籤。您可以透過選擇標籤下拉式清單功能表,並選取或取消選取標籤來變更視覺效果中的標籤。
您也可以在 Model accuracy insights (模型準確度洞察 ) 區段中選擇 View scores for (檢視分數) 下拉式清單,檢視個別標籤或標籤群組的深入分析,例如精確度最高或最低的三個標籤。
下列螢幕擷取畫面顯示單一標籤影像預測模型的評分資訊。

評估文字預測模型
Overview (概觀) 索引標籤會顯示 Per label performance (每個標籤效能),為您提供每個標籤所預測文字段落的整體精確度分數。您可以選擇標籤來查看更具體的詳細資訊,例如標籤的 Correctly predicted (預測正確) 和 Incorrectly predicted (預測不正確) 的段落。
多類別文字預測模型的 Scoring (評分) 索引標籤會顯示模型預測為標籤與實際標籤的比較。
在 Model accuracy insights (模型精確度洞察) 區段中,您可以看到 Most frequent category (最常見類別),告訴您模型預測中最頻繁出現的類別,以及這些預測的準確度。如果您的模型在 99% 的次數將標籤預測為 Positive (正),那麼您可以對模型保持高度信心,您的模型擅長預測文字中的正面情緒。
下列螢幕擷取畫面顯示多類別文字預測模型的評分資訊。
