주석 통합

주석은 단일 작업자의 레이블 지정 작업의 결과입니다. 주석 통합은 두 명 이상의 작업자가 단 주석을 데이터 객체에 대한 단일 레이블로 결합합니다. 데이터 세트의 각 객체에 할당된 레이블은 실제 레이블이 무엇인지에 대한 확률적 추정치입니다. 데이터 세트의 각 객체에는 일반적으로 주석이 여러 개 있지만 레이블은 하나만 있거나 세트로 있습니다.

데이터 세트의 각 객체에 주석을 달아야 하는 작업자 수를 결정합니다. 작업자가 더 많아지면 레이블의 정확도가 높아지지만 레이블 지정 비용도 함께 상승합니다. Ground Truth 요금에 대한 자세한 내용은 Amazon SageMaker Ground Truth 요금을 참조하십시오.

Amazon SageMaker 콘솔을 사용하여 레이블 지정 작업을 생성하는 경우 객체에 주석을 달 수 있는 작업자 수에 대한 기본값은 다음과 같습니다.

• 텍스트 분류 - 작업자 3명

• 이미지 분류 - 작업자 3명

• 경계 상자 - 작업자 5명

• 의미 체계 분할 - 작업자 3명

• 이름이 지정된 엔터티 인식 - 작업자 3명

CreateLabelingJob 작업을 사용하는 경우 NumberOfHumanWorkersPerDataObject 파라미터를 사용하여 각 데이터 객체에 주석을 달 작업자의 수를 설정합니다. 콘솔 또는 CreateLabelingJob 작업을 사용하여 데이터 객체에 주석을 다는 기본 작업자 수를 재정의할 수 있습니다.

Ground Truth는 미리 정의된 각 레이블 지정 작업(경계 상자, 이미지 분류, 이름 엔터티 인식, 의미 체계 분할 및 텍스트 분류)에 대해 주석 통합 기능을 제공합니다. 기능은 다음과 같습니다.

• 이미지 및 텍스트 분류를 위한 다중 클래스 주석 통합은 주석에 대한 기댓값 최대화 접근 방식의 변형을 사용합니다. 이 기능은 각 작업자에 대한 파라미터를 예측하고, 베이지안 추론을 사용하여 개별 작업자의 클래스 주석을 기반으로 실제 클래스를 예측합니다.

• 경계 상자 주석은 여러 작업자의 경계 상자를 통합합니다. 이 기능은 상자의 자카드 지수(Jaccard index) 또는 IoU(intersection over union)를 기반으로 여러 작업자로부터 가장 유사한 상자를 검색하여 평균을 냅니다.

• 의미 체계 분할 주석 통합은 단일 이미지의 각 픽셀을 멀티클래스 분류로 취급합니다. 이 기능은 이미지에 smoothing 함수를 적용하여 통합된 주변 픽셀로부터 더 많은 정보를 가져와 작업자의 픽셀 주석을 “투표”(vote)로 취급합니다.

• 이름이 지정된 엔터티 인식은 Jaccard 유사성 기준으로 텍스트 선택을 클러스터링하고 모드를 기반으로 선택 경계를 계산하거나, 모드가 명확하지 않은 경우 중앙값을 계산합니다. 레이블은 클러스터에서 가장 주요하게 할당된 엔터티 레이블로 확인되며 임의 선택에 따라 연결을 해제합니다.

다른 알고리즘을 사용하여 주석을 통합할 수 있습니다. 자세한 내용은 자체 주석 통합 함수 생성을/를 참조하세요.

자체 주석 통합 함수 생성

자체 주석 통합 함수를 사용하여 레이블이 지정된 객체의 최종 레이블을 결정하도록 선택할 수 있습니다. 함수를 생성하는 데는 여러 가지 방법이 있으며 통합할 주석의 특성에 따라 접근 방식이 달라집니다. 대게, 통합 기능은 작업자의 주석을 살펴보고, 주석 간의 유사성을 측정하고, 확률론적 판단에 따라 가장 가능성이 높은 라벨을 결정합니다.

다른 알고리즘을 사용하여 주석 통합 함수를 생성하려면 작업 출력을 지시하는 Amazon S3 버킷의 [project-name]/annotations/worker-response 폴더에서 작업자 응답을 찾을 수 있습니다.

유사성 평가

레이블 간 유사성을 평가하기 위해 다음 전략 중 하나를 사용하거나 데이터 레이블 지정 요구 사항을 충족하는 전략을 사용할 수 있습니다.

• 멀티클래스 분류 등과 같은 상호 배타적인 이산적 범주로 구성된 레이블 공간의 경우 유사성 평가는 간단할 수 있습니다. 이산적 레이블이 일치할 수도 있고 그렇지 않을 수도 있습니다.

• 경계 상자 주석 등과 같이 이산 값이 없는 레이블 공간의 경우에는 보다 광범위한 유사성 척도를 찾습니다. 경계 상자의 경우 이러한 척도는 자카드 지수(Jaccard index)입니다. 이 지수는 상자 두 개의 교집합과 상자의 합집합 비를 측정해 유사성을 평가합니다. 예를 들어 세 개의 주석이 있는 경우 어느 주석이 동일한 객체를 표현하고 통합되어야 하는지 결정하는 함수가 있을 수 있습니다.

가능성이 가장 큰 레이블 평가

이전 섹션에서 자세하게 설명한 전략 중 하나를 염두에 두고, 통합된 레이블이 어떤 모습일지 약간의 확률론적 판단을 합니다. 상호 배타적인 이산적 범주의 경우 이는 간단할 수 있습니다. 이렇게 하기 위한 가장 일반적인 방법 중 하나는 주석 간 다수결 투표의 결과를 사용하는 것입니다. 이 방법은 주석에 동등하게 가중치를 부여합니다.

일부 접근 방법은 여러 주석자의 정확도를 추정하고 정확성의 확률에 비례하여 주석을 가중하려고 시도합니다. 한 가지 예가 멀티클래스 주석에 대한 기본 Ground Truth 통합 기능에 사용되는 기댓값 최대화(Expectation Maximization) 방법입니다.

주석 통합 함수 생성에 대한 자세한 정보는 3단계: AWS Lambda를 사용하여 처리 섹션을 참조하십시오.