Test Workbench의 테스트 결과 세부 정보

테스트 결과에는 테스트 세트 세부 정보, 사용된 의도, 사용된 슬롯이 표시됩니다. 또한 전체 결과, 대화 결과, 의도, 슬롯 결과를 포함한 전체 테스트 세트 입력 분류도 제공합니다.

테스트 결과는 다음과 같은 모든 테스트 관련 정보로 구성됩니다.

• 테스트 세부 정보 메타데이터

• 전체 결과

• 대화 결과

• 의도 및 슬롯 결과

• 세부 결과

전체 결과 탭:

테스트 세트 입력 분석 – 이 차트는 테스트 세트의 대화 수와 단일 입력 발화 수를 분석하여 보여줍니다.

단일 입력 분석 - 대화 및 음성 트랜스크립션이 포함된 end-to-end 두 개의 차트를 표시합니다. 각 차트에는 통과 및 실패 입력 수가 표시됩니다. 참고: 음성 트랜스크립션 차트는 오디오 테스트 세트에서만 볼 수 있습니다.

대화 분석 - 대화와 음성 트랜스크립션이 포함된 end-to-end 두 개의 차트를 표시합니다. 각 차트에는 통과 및 실패 입력 수가 표시됩니다. 참고: 음성 트랜스크립션 차트는 오디오 테스트 세트에서만 볼 수 있습니다.

대화 결과 탭:

대화 통과율 – 대화 통과율 표는 테스트 세트의 각 대화에 어떤 의도와 슬롯이 사용되었는지 확인하는 데 사용됩니다. 각 의도 및 슬롯의 통과율과 함께 어떤 의도 또는 슬롯이 실패했는지 검토하여 대화가 실패한 부분을 시각화할 수 있습니다.

대화 의도 실패 지표 - 이 지표는 테스트 세트에서 성능이 가장 좋지 않은 상위 5개 의도를 보여줍니다. 이 패널은 봇의 대화 로그 또는 트랜스크립션을 기반으로 성공 또는 실패한 의도의 비율 또는 수를 차트로 보여줍니다. 의도가 성공했다고 해서 전체 대화가 성공했다는 의미는 아닙니다. 이러한 지표는 의도의 이전 또는 이후에 발생한 의도와 상관없이 의도의 가치에만 적용됩니다.

대화 슬롯 실패 지표 - 이 지표는 테스트 세트에서 성능이 가장 좋지 않은 상위 5개 슬롯을 보여줍니다. 의도의 각 슬롯에 대한 성공률을 나타냅니다. 막대 그래프는 의도의 각 슬롯에 대한 음성 트랜스크립션과 end-to-end 대화를 모두 보여줍니다.

의도 및 슬롯 결과 탭:

의도 인식 지표 - 성공적으로 인식된 의도 수를 표로 보여줍니다. 음성 트랜스크립션 및 end-to-end 대화의 통과율을 표시합니다.

슬롯 해결 지표 - 의도와 슬롯을 별도로 표시하고 대화나 단일 입력에 사용된 각 의도에 대한 각 슬롯의 성공률과 실패율을 보여줍니다. 음성 트랜스크립션 및 end-to-end 대화의 통과율을 표시합니다.

세부 결과 탭:

세부 결과 – 대화 로그에 사용자 및 에이전트의 발화, 각 슬롯의 예상 출력 및 예상 트랜스크립션이 포함된 세부 표를 표시합니다. 다운로드 버튼을 선택하여 이 보고서를 다운로드할 수 있습니다.

다음 표에는 시나리오와 함께 결과 실패 오류 메시지가 나열되어 있습니다.

시나리오	오류 메시지	작업
의도 불일치	예상 BookFlight 의도였지만 BookHotel 의도였습니다.	대화의 다른 부분은 건너뛰기
슬롯 유도 불일치	예상 departureDate 슬롯이 유도되었지만 였습니다cabinType.	대화의 다른 부분은 건너뛰기
슬롯 값 불일치	예상 슬롯 값과 실제 슬롯 값이 일치하지 않습니다.	다른 턴으로 대화를 진행
Back-to-back 에이전트 프롬프트가 누락되었습니다.	이번 턴에 봇이 에이전트 프롬프트를 반환할 것으로 예상했지만 수신되지 않았습니다.	대화의 다른 부분은 건너뛰기
트랜스크립션 불일치	예상 트랜스크립션이 실제 트랜스크립션과 일치하지 않았습니다.	다른 턴으로 대화를 진행
옵션 슬롯이 유도되지 않음	다음 번에 cabinType 슬롯을 유도할 것으로 예상되지만, 그 이전에는 현재 의도가 충족되었습니다.	대화의 다른 부분은 건너뛰기
슬롯이 인식되지 않음	이번에는 예상 departureDate 슬롯이 인식되지 않았습니다.	대화의 다른 부분은 건너뛰기
추가 back-to-back 에이전트 프롬프트	사용자 턴을 예상했지만 에이전트 프롬프트였음	대화의 다른 부분은 건너뛰기