テスト結果の詳細

テスト結果には、テストセットの詳細、使用されたインテント、使用されたスロットが表示されます。また、全体的な結果、会話結果、インテント、スロット結果など、テストセット全体の入力の内訳も表示されます。

テスト結果には、次のようなすべてのテスト関連情報が含まれます。

• テストの詳細メタデータ

• 総合結果

• 会話の結果

• インテントとスロットの結果

• 詳細結果

[総合結果] タブ:

テストセットの入力内訳 — このチャートには、テストセット内の会話数と単一入力発話数の内訳が表示されます。

単一入力の内訳 — end-to-end 会話と音声文字起こしを含む 2 つのグラフを表示します。合格した入力と不合格だった入力の数が各チャートに示されます。注: 音声文字起こしチャートはオーディオテストセットでのみ表示されます。

会話の内訳 – end-to-end 会話と音声文字起こしを含む 2 つのグラフを表示します。合格した入力と不合格だった入力の数が各チャートに示されます。注: 音声文字起こしチャートはオーディオテストセットでのみ表示されます。

[会話の結果] タブ:

会話合格率 — 会話合格率テーブルを使用して、テストセット内の各会話でどのインテントとスロットが使用されているかを確認できます。どのインテントまたはスロットが不合格だったかを確認し、各インテントとスロットの合格率を確認することで、会話のどこで失敗したかを視覚化できます。

会話インテント不合格メトリクス — このメトリクスは、テストセットの中でパフォーマンスが最も悪かったインテントの上位 5 つを示します。このパネルには、ボットの会話ログまたは文字起こしに基づいて、成功または失敗したインテントの割合または数のグラフが表示されます。インテントが成功しても、会話全体が成功したわけではありません。これらのインテントは、どのインテントが前または後に来たかにかかわらず、インテントの値にのみ適用されます。

会話スロット不合格メトリクス — このメトリクスは、テストセットの中でパフォーマンスが最も悪かったスロットの上位 5 つを示します。インテント内の各スロットの成功率を示しました。棒グラフには、インテントの各スロットの音声文字起こしと end-to-end 会話の両方が表示されます。

[インテントとスロットの結果] タブ:

インテント認識メトリクス — 正常に認識されたインテントの数を示す表が表示されます。音声文字起こしと end-to-end 会話の合格率を表示します。

スロット解決メトリクス — インテントとスロットを別々に表示し、会話または単一入力で使用された各インテントの各スロットの成功率と失敗率を表示します。音声文字起こしと end-to-end 会話の合格率を表示します。

[詳細結果] タブ:

詳細結果 — ユーザーとエージェントの発話、各スロットの予想される出力と想定される文字起こしを含む詳細な表を会話ログに表示します。このレポートは [ダウンロード] ボタンを選択してダウンロードできます。

次の表に、結果不合格エラーメッセージとシナリオを示します。

シナリオ	エラーメッセージ	アクション
インテントが一致しません	予想されるイン BookFlight テントですが、イン BookHotel テントでした。	会話の他のターンをスキップする
スロット誘発が一致しません	departureDate スロットが誘発される予定でしたが、cabinType でした。	会話の他のターンをスキップする
スロット値が一致しない	予想されるスロット値と実際のスロット値が一致しません。	会話の他のターンを続ける
B ack-to-back エージェントプロンプトがありません	このターン、ボットがエージェントプロンプトを返すはずでしたが、受信されませんでした。	会話の他のターンをスキップする
文字起こしが一致しない	予想される文字起こしが、実際の文字起こしと一致しませんでした。	会話の他のターンを続ける
オプションスロットが誘発されない	次のターンで cabinType スロットを誘発することが期待されていますが、その前に現在のインテントが達成されています。	会話の他のターンをスキップする
スロットが認識されない	このターンで departureDate スロットは認識されませんでした。	会話の他のターンをスキップする
追加の back-to-back エージェントプロンプト	ユーザーターンが予想されましたが、エージェントプロンプトでした	会話の他のターンをスキップする