測試結果詳情 - Amazon Lex

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

測試結果詳情

測試結果會顯示測試集詳細資料、使用的意圖,以及使用的插槽。它還提供了整體測試集輸入細分,包括整體結果,交談結果,意圖和插槽結果。

測試結果包括所有與測試相關的信息,例如:

  • 測試詳細信息元

  • 整體結果

  • 對話結果

  • 意圖和插槽結果

  • 詳細結果

「整體結果」標籤:

使用測試工作台測試結果中的測試集未放入細分圖表。

測試集輸入細分 — 此圖表顯示測試集中交談數和單一輸入語音的明細。

使用「測試工作台」測試結果中的單一輸入劃分圖表。

單一輸入劃分 — 顯示兩個圖表,其中包括 end-to-end 交談和語音轉錄。通過和失敗的輸入數會在每個圖表上顯示。注意:只有音訊測試集才會顯示語音轉錄圖表。

使用「測試工作台」測試結果中的交談劃分圖表。

話劃分 — 顯示兩個圖表,其中包括交 end-to-end 談和語音轉錄。通過和失敗的輸入數會在每個圖表上顯示。注意:只有音訊測試集才會顯示語音轉錄圖表。

交談結果標籤:

使用「測試工作台」的測試結果中的交談合格率圖表。

交談通過率 — 交談通過率表用於查看測試集中每個對話中使用的意圖和插槽。您可以檢視哪個意圖或插槽失敗,以及每個意圖和插槽的通過百分比,以視覺化交談失敗的位置。

使用「測試工作台」的測試結果中的交談意圖失敗測量結果圖表。

交談意圖失敗度量 — 此度量顯示測試集中前 5 個效能最差的意圖。此面板會根據機器人的對話記錄或轉錄,顯示意圖成功或失敗的百分比或數目。一個成功的意圖並不意味著整個對話是成功的。這些度量僅適用於意圖的值,無論哪個意圖之前或之後。

使用「測試工作台」的測試結果中的交談插槽失敗度量圖表。

交談插槽失敗度量 — 此度量顯示測試集中效能最差的 5 個插槽。指出意圖中每個插槽的成功率。條形圖顯示意圖中每個插槽的語音轉錄和 end-to-end 對話。

意圖和插槽結果標籤:

使用「測試工作台」的測試結果中的意圖識別度量圖表。

意圖辨識度量 — 顯示成功辨識多少意圖的表格。顯示語音轉錄和 end-to-end 交談的合格率。

使用「測試工作台」的測試結果中的「插槽解析度量」圖表。

插槽解析度量 — 分別顯示意圖和插槽,以及交談或單一輸入中使用之每個意圖的每個插槽的成功和失敗率。顯示語音轉錄和 end-to-end 交談的合格率。

詳細結果標籤:

使用測試工作台測試結果的詳細結果。

詳細結果 — 在交談記錄上顯示詳細的表格,其中包含使用者和代理程式的話語,以及每個插槽的預期輸出和預期的轉錄。您可以選取 [下載] 按鈕來下此報告。

下表列出案例中的結果失敗錯誤訊息。

案例 錯誤訊息 動作
意圖不匹配 預期的 BookFlight 意圖,但它是 BookHotel 意圖。

跳過對話中的其他回合

插槽引出不匹配 預計離開日期插槽被引發,但它是機艙類型。 跳過對話中的其他回合
插槽值不符 預期與實際插槽值不相符。 在對話中繼續其他回合
B ack-to-back 代理程式提示遺失 預期機器人在此回合中會傳回代理程式提示,但未收到。 跳過對話中的其他回合
轉錄不匹配 預期的轉錄與實際轉錄不匹配。 在對話中繼續其他回合
未引發可選插槽 預計將在下一回合引出 CabinType 插槽,但在此之前實現了當前的意圖。 跳過對話中的其他回合
插槽無法辨識 預計離開日期插槽在此回合中未被識別。 跳過對話中的其他回合
額外的 back-to-back 代理提示 預計用戶轉向,但它是代理提示 跳過對話中的其他回合