생성형 AI를 사용하여 Amazon Connect에서 에이전트 성능 평가

PDFRSS

참고

Amazon Bedrock:implements 자동 남용 탐지로 구동됩니다. AWS 의 생성형 AI 기능은 Amazon Bedrock을 기반으로 Contact Lens 구축되므로 사용자는 Amazon Bedrock에 구현된 제어를 최대한 활용하여 안전, 보안 및 인공 지능(AI)의 책임 있는 사용을 적용할 수 있습니다.

관리자는 자연어로 평가 기준을 지정하고 생성형 AI를 사용하여 고객 상호 작용의 최대 100%에 대한 평가를 자동화할 수 있습니다. 생성형 AI를 사용하면 추가 에이전트 동작에 대한 평가를 자동화할 수 있으며(예: 에이전트가 고객의 문제를 해결할 수 있었나요?), 이를 통해 관리자는 규제 준수, 에이전트의 품질 표준 준수 및 민감한 데이터 수집을 포괄적으로 모니터링하고 개선하는 동시에 에이전트 성능 평가에 소요되는 시간을 줄일 수 있습니다. 답변과 함께 컨텍스트 및 정당화, 에이전트 코칭을 제공하는 데 사용할 수 있는 트랜스크립트의 특정 사항에 대한 참조도 제공됩니다.

생성형 AI를 사용하여 관리자가 평가를 채우도록 지원하거나 이를 사용하여 평가를 자동으로 채우고 제출할 수 있습니다. 자동 평가 설정에 대한 자세한 내용은 섹션을 참조하세요5단계: 자동 평가 활성화.

평가 질문은 생성형 AI를 사용하여 각 질문과 연결된 평가자에게 지침 내에 지정된 질문 제목 및 평가 기준을 해석하고 이를 사용하여 대화 기록을 분석하여 답변됩니다. 자세한 내용은 2단계: 섹션 및 질문 추가 단원을 참조하십시오.

리전 및 언어 가용성

이 기능은 미국 동부(버지니아 북부), 미국 서부(오리건), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 캐나다(중부), 유럽(프랑크푸르트) 및 유럽(런던)에서 생성된 Amazon Connect 인스턴스에 사용할 수 있습니다. 이 기능은 영어 로캘에서 지원됩니다.

생성형 AI를 사용하여 평가를 자동화하는 프로세스

다음은 자동화 프로세스의 개요입니다.

1. 를 읽고 생성형 AI로 답변해야 하는 평가 질문에 대해 개괄적으로 알아봅니다생성형 AI 정확도 개선을 위한 지침.

2. 품질 관리 팀 내에서 Ask AI 어시스턴트를 사용할 사용자를 선택할 수 있는 권한을 할당합니다. 이러한 사용자는 평가를 수행하는 동안 각 질문 옆에 AI 질문 버튼이 표시되기 시작하고 이를 사용하여 답변 추천을 받을 수 있습니다. 이러한 사용자는 생성형 AI를 사용하여 정확한 답변을 수신하는 질문에 대한 피드백을 제공할 수 있습니다. 자세한 내용은 사용자가 평가 양식을 생성하고 액세스할 수 있는 보안 프로필 권한 할당 단원을 참조하십시오.

3. 정확도를 높이기 위해 평가자에게 지침 내에서 추가 평가 기준을 제공할 수 있습니다. 자세한 내용은 생성형 AI 정확도 개선을 위한 지침 단원을 참조하십시오.

4. 생성형 AI로 정확하게 답변할 수 있는 질문을 잘 이해하면 생성형 AI를 사용하여 질문이 자동 답변을 받을지 여부에 관계없이 평가 양식을 미리 구성하여 더 광범위한 롤아웃을 수행할 수 있습니다.

5. 자동화를 설정하면 평가 양식을 사용하여 평가를 수행하는 모든 사용자는 사전 구성된 질문에 대한 자동 생성형 AI 답변을 받게 됩니다(추가 권한 필요 없음). 자세한 내용은 5단계: 자동 평가 활성화 단원을 참조하십시오.

6. 평가자는 제출 전에 생성형 AI 답변을 먼저 검토하거나 평가를 자동으로 채우고 제출할 수 있도록 자동화를 설정할 수 있습니다.

생성형 AI 답변 추천을 받으려면 AI 요청 사용

1. 평가를 수행할 수 있는 권한 및 AI에게 질문하기 어시스턴트가 있는 사용자 계정으로 Amazon Connect에 로그인합니다.

2. 질문 아래의 AI에게 질문하기 버튼을 선택하여 컨텍스트 및 정당성(답변을 제공하는 데 사용된 트랜스크립트의 참조 사항)과 함께 답변에 대한 생성형 AI 기반 추천을 받습니다.

   1. 생성형 AI 권장 사항에 따라 답변이 자동으로 선택되지만 사용자가 변경할 수 있습니다. 

   2. 고객 응대당 최대 10개의 질문을 AI에 요청하기를 선택하여 생성형 AI 기반 추천을 받을 수 있습니다. 자세한 내용은 Contact Lens service quotas 단원을 참조하십시오.

3. 대화의 특정 시점으로 이동할 트랜스크립트 참조와 연결된 시간을 선택할 수 있습니다.

   

생성형 AI를 사용하여 평가 양식 질문에 답변하기 위한 추가 기준을 제공합니다.

평가 양식을 구성하는 동안 각 평가 양식 질문과 연결된 평가자에 대한 지침 내에서 질문에 답변하기 위한 기준을 제공할 수 있습니다. 평가자의 평가 일관성을 높이는 것 외에도 이 지침은 생성형 AI 기반 평가를 제공하는 데도 사용됩니다.

평가 양식에서 생성형 AI를 사용하여 자동 평가 설정

생성형 AI를 사용하여 질문에 자동으로 응답할지 여부를 평가 양식에서 사전 구성할 수 있습니다. 그런 다음 Amazon Connect UI에서 평가 양식을 사용하여 평가를 시작하면 생성형 AI를 사용하여 이러한 질문에 대한 답변이 자동으로 채워집니다(AI 문의를 클릭할 필요 없음). 생성형 AI를 사용하여 평가를 자동으로 채우고 제출할 수도 있습니다. 자동으로 제출된 평가의 경우 생성형 AI를 사용하여 고객 응대당 최대 10개의 질문에 답변할 수 있습니다( 참조Contact Lens service quotas). 이 제한은 Contact Lens 범주 또는 지표(예: 가장 긴 보류 기간 등)를 사용하는 자동화에는 적용되지 않습니다.

생성형 AI를 사용하여 자동 평가를 설정하는 방법에 대한 자세한 내용은 섹션을 참조하세요생성형 AI 정확도 개선을 위한 지침.

생성형 AI 정확도 개선을 위한 지침

생성형 AI 권장 사항을 가져오기 위한 질문 선택

1. 생성형 AI를 사용하면 CRM 시스템과 같은 서드파티 애플리케이션을 통해 정보를 검증할 필요 없이 대화 트랜스크립트의 정보를 사용하여 답변할 수 있는 질문에 응답할 수 있습니다.

2. 생성형 AI를 사용하여 “에이전트가 고객과 얼마나 오래 상호 작용했나요?”와 같은 숫자 응답이 필요한 질문에 답변하는 것은 권장되지 않습니다. 대신 Contact Lens 또는 연락처 지표를 사용하여 이러한 평가 양식 질문에 대한 자동화를 설정하는 것이 좋습니다.

3. 생성형 AI를 사용하여 “에이전트가 통화 중에 주의를 기울였나요?”와 같은 주관적인 질문에 답변하지 마세요.

질문 및 관련 지침 표현 개선

1. 전체 문장을 사용하여 질문 표현, 예를 들어 ID 검증을 “에이전트가 고객의 신원을 검증하려고 했나요?”로 대체하면 생성형 AI가 질문을 더 잘 이해할 수 있습니다.

2. 특히 질문 텍스트만으로 질문에 답변할 수 없는 경우, 평가자에 대한 지침 내에서 질문에 답변하기 위한 자세한 기준을 제공하는 것이 좋습니다. 예를 들어 “에이전트가 고객 자격 증명을 검증하려고 했나요?”라는 질문의 경우 에이전트는 고객의 질문을 해결하기 전에 항상 멤버십 ID와 우편 번호를 고객에게 문의해야 한다는 것과 같은 추가적인 지침을 제공하려고 할 수 있습니다.

3. 질문에 답변하기 위해 일부 비즈니스별 용어에 대한 지식이 필요한 경우 지침에 해당 용어를 지정합니다. 예를 들어, 에이전트가 인사말에 부서 이름을 지정해야 하는 경우, 에이전트가 질문과 관련된 평가자에 대한 지침의 일부로 명시해야 하는 필수 부서 이름을 나열합니다.

4. 가능한 경우 '동료', '직원', '대리인', '지지자' 또는 '보조'와 같은 용어 대신 '에이전트'라는 용어를 사용합니다. 마찬가지로 '회원', '발신자', '게스트' 또는 '구독자'와 같은 용어 대신 '고객'이라는 용어를 사용합니다.

5. 에이전트 또는 고객이 사용하는 단어가 정확한지 확인하려면 지침에 큰따옴표를 사용하세요. 예를 들어, 에이전트가 "Have a nice day"라고 말하는지 확인하는 지시가 있는 경우 생성형 AI는 Have a nice afternoon이라는 말을 감지하지 못합니다. 대신 지시는 다음과 같이 해야 합니다. The agent wished the customer a nice day.