사용자 지정 분류기 지표

Amazon Comprehend는 사용자 지정 분류기의 성능을 추정하는 데 도움이 되는 지표를 제공합니다. Amazon Comprehend는 분류기 학습 작업의 테스트 데이터를 사용하여 지표를 계산합니다. 지표는 학습 중 모델의 성능을 정확하게 나타내므로 유사한 데이터를 분류할 때 모델 성능을 근사치로 계산합니다.

API 작업 (예: 사용자 지정 DescribeDocumentClassifier분류기에 대한 지표 검색) 을 사용하십시오.

참고

기본 정밀도, 재현율 및 F1 점수 지표에 대한 이해는 지표: 정밀도, 재현율, FScore를 참조하세요. 이러한 지표는 클래스 수준에서 정의됩니다. Amazon Comprehend는 다음에서 설명하는 것처럼 매크로 평균을 사용하여 이러한 지표를 테스트 세트 P, R 및 F1에 결합합니다.

지표

Amazon Comprehend는 다음 지표를 지원합니다.

• 정확도
• 정밀도(매크로 정밀도)
• 재현율(매크로 재현율)
• F1 점수(매크로 F1 점수)
• 해밍 손실
• 마이크로 정밀도
• 마이크로 재현율
• 마이크로 F1 점수

분류기의 지표를 보려면 콘솔에서 분류기 세부 정보 페이지를 여십시오.

정확도

정확도는 모델이 정확하게 예측한 테스트 데이터의 레이블 비율을 나타냅니다. 정확도를 계산하려면 테스트 문서에서 정확하게 예측된 레이블 수를 테스트 문서의 총 레이블 수로 나눕니다.

예

실제 레이블	예측 레이블	정확/부정확
1	1	정확
0	1	부정확:
2	3	부정확:
3	3	정확
2	2	정확
1	1	정확
3	3	정확

정확도는 정확한 예측 수를 전체 테스트 표본 수로 나눈 값(= 5/7 = 0.714 또는 71.4%)으로 구성됩니다.

정밀도(매크로 정밀도)

정밀도는 테스트 데이터에서 분류기 결과의 유용성을 측정한 것입니다. 정확하게 분류된 문서 수를 해당 클래스의 총 분류 수로 나눈 값으로 정의됩니다. 정밀도가 높다는 것은 관련성이 없는 결과보다 관련성이 있는 결과를 분류기가 훨씬 더 많이 반환했음을 의미합니다.

이 Precision 지표는 매크로 정밀도라고도 합니다.

다음 예제는 테스트 세트의 정밀도 결과를 보여줍니다.

레이블	샘플 크기	레이블 정밀도
레이블_1	400	0.75
레이블_2	300	0.80
레이블_3	30000	0.90
레이블_4	20	0.50
레이블_5	10	0.40

따라서 모델의 정밀도(매크로 정밀도) 측정법은 다음과 같습니다.

Macro Precision = (0.75 + 0.80 + 0.90 + 0.50 + 0.40)/5 = 0.67

재현율(매크로 재현율)

이는 모델이 예측할 수 있는 텍스트의 올바른 카테고리 비율을 나타냅니다. 이 지표는 사용 가능한 모든 레이블의 재현율 점수 평균 결과입니다. 재현율은 테스트 데이터에 대한 분류기 결과의 완전성을 나타내는 척도입니다.

재현율이 높다는 것은 분류기가 관련 결과를 대부분 반환했음을 의미합니다.

이 Recall 지표는 매크로 재현율이라고도 합니다.

다음 예는 테스트 세트의 재현율 결과를 보여줍니다.

레이블	샘플 크기	레이블 재현율
레이블_1	400	0.70
레이블_2	300	0.70
레이블_3	30000	0.98
레이블_4	20	0.80
레이블_5	10	0.10

따라서 모델의 재현율(매크로 재현율) 지표는 다음과 같습니다.

Macro Recall = (0.70 + 0.70 + 0.98 + 0.80 + 0.10)/5 = 0.656

F1 점수(매크로 F1 점수)

F1 점수는 Precision 및 Recall 값에서 파생됩니다. 이 속성은 분류기의 전반적인 정확도를 측정합니다. 최고 점수는 1이고, 최저 점수는 0입니다.

Amazon Comprehend는 매크로 F1 점수를 계산합니다. 이 점수는 레이블 F1 점수의 가중치가 적용되지 않은 평균입니다. 다음 테스트 세트를 예로 들어 보겠습니다.

레이블	샘플 크기	레이블 F1 점수
레이블_1	400	0.724
레이블_2	300	0.824
레이블_3	30000	0.94
레이블_4	20	0.62
레이블_5	10	0.16

모델의 F1 점수(매크로 F1 점수)는 다음과 같이 계산됩니다.

Macro F1 Score = (0.724 + 0.824 + 0.94 + 0.62 + 0.16)/5 = 0.6536

해밍 손실

레이블의 잘못 예측된 부분. 전체 레이블 수 대비 잘못된 레이블의 비율로도 볼 수 있습니다. 점수가 0에 가까울수록 좋습니다.

마이크로 정밀도

원본:

마이크로 정밀도는 모든 정밀도 점수를 합산한 전체 점수를 기반으로 한다는 점을 제외하면 정밀 측정법과 비슷합니다.

마이크로 재현율

마이크로 재현율은 모든 재현율 점수의 전체 점수를 합산하여 계산한다는 점을 제외하면 재현율 지표와 유사합니다.

마이크로 F1 점수

마이크로 F1 점수는 마이크로 정밀도 지표와 마이크로 재현율 지표의 조합입니다.

사용자 지정 분류기의 성능 개선

지표는 분류 작업 중에 사용자 지정 분류기가 어떻게 수행되는지에 대한 인사이트를 제공합니다. 지표가 낮으면 분류 모델이 사용 사례에 효과적이지 않을 수 있습니다. 분류기 성능을 개선할 수 있는 몇 가지 옵션이 있습니다.

1. 학습 데이터에서 범주의 명확한 구분을 정의하는 구체적인 예를 제공하십시오. 예를 들어, 고유한 단어/문장을 사용하여 범주를 나타내는 문서를 제공하십시오.

2. 학습 데이터에 제대로 표현되지 않은 레이블에 대한 데이터를 더 추가하십시오.

3. 카테고리의 편중을 줄이도록 하십시오. 데이터에서 가장 큰 레이블이 가장 작은 레이블에 있는 문서의 10배 이상인 경우 가장 작은 레이블의 문서 수를 늘려 보십시오. 대표성이 높은 클래스와 대표성이 가장 낮은 클래스 간의 왜곡 비율을 많으면 10:1까지 줄여야 합니다. 대표성이 높은 클래스에서 입력 문서를 제거해 볼 수도 있습니다.