평가판 확인 작업 실행 평가판 확인 결과 확인 주석 도구를 사용하여 분할 레이블 수정하기

평가판 확인 작업을 통한 모델 검증

모델의 품질을 확인하거나 개선하려는 경우 평가판 확인 작업을 실행할 수 있습니다. 평가판 확인 작업은 사용자가 제공하는 새 이미지에서 이상을 탐지합니다.

확인 결과를 확인하고 검증된 이미지를 데이터 세트에 추가할 수 있습니다. 학습 데이터 세트와 테스트 데이터 세트가 분리되어 있는 경우 검증된 이미지가 학습 데이터세트에 추가됩니다.

로컬 컴퓨터의 이미지 또는 Amazon S3 버킷에 있는 이미지를 확인할 수 있습니다. 검증된 이미지를 데이터세트에 추가하려면 S3 버킷에 있는 이미지가 데이터세트의 이미지와 동일한 S3 버킷에 있어야 합니다.

참고

평가판 확인 작업을 실행하려면 S3 버킷에 버전 관리가 활성화되어 있어야 합니다. 자세한 내용은 버전 관리 사용을 참조하십시오. 콘솔 버킷은 버전 관리가 활성화된 상태로 생성됩니다.

기본적으로 이미지는 AWS가 소유하고 관리하는 키로 암호화됩니다. 또한 자체 AWS KMS (KMS) 키를 사용하도록 선택할 수 있습니다. 자세한 내용은 AWS Key Management Service 개념을 참조하십시오.

평가판 확인 작업 실행

평가판 확인 작업을 실행하려면 다음 단계를 수행하세요.

평가판 확인을 실행하려면 (콘솔)

https://console.aws.amazon.com/lookoutvision/에서 Amazon Lookout for Vision 콘솔을 엽니다.
시작하기를 선택합니다.
왼쪽 탐색 창에서 프로젝트를 선택합니다.
프로젝트 보기에서 확인하고자 하는 모델의 버전이 포함된 프로젝트를 선택합니다.
왼쪽 탐색 창의 프로젝트 이름에서 평가판 확인을 선택합니다.
평가판 확인 보기에서 평가판 확인 실행을 선택합니다.
평가판 확인 실행 페이지의 작업 이름에 평가판 확인 작업 이름을 입력합니다.
모델 선택에서 사용하고자 하는 모델의 버전을 선택합니다.
다음과 같이 이미지 소스에 따라 이미지를 가져옵니다.
- Amazon S3 버킷에서 소스 이미지를 가져오는 경우 S3 URI를 입력합니다.
  
  작은 정보
  시작하기 예제 이미지를 사용하는 경우 extra_images 폴더를 사용하십시오. Amazon S3 URI는 s3://your bucket/circuitboard/extra_images입니다.
- 컴퓨터에서 이미지를 업로드하는 경우, 예외 항목 감지를 선택한 후 이미지를 추가하십시오.
(선택 사항) 자체 AWS KMS 암호화 키를 사용하려면 다음을 수행하십시오.
1. 이미지 데이터 암호화의 경우 암호화 설정 사용자 지정 (고급)을 선택합니다.
2. 암호화.aws_kms_key에서 키의 Amazon 리소스 이름 (ARN)을 입력하거나 기존 AWS KMS 키를 선택합니다. 새 키를 생성하려면 AWS IMS 키 생성을 선택합니다.
이상 탐지를 선택한 다음 평가판 확인 실행을 선택하여 평가판 확인 작업을 시작합니다.
평가판 확인 보기에서 현재 상태를 확인하세요. 평가판 확인을 완료하는 데 시간이 걸릴 수 있습니다.

평가판 확인 결과 확인

평가판 확인 결과를 검증하면 모델을 개선하는 데 도움이 될 수 있습니다.

성능 지표가 좋지 않은 경우, 평가판 확인을 실행하여 모델을 개선한 다음 검증된 이미지를 데이터 세트 (별도의 데이터 세트가 있는 경우 학습 데이터 세트)에 추가하세요.

모델의 성능 지표는 양호하지만 평가판 확인 결과가 좋지 않은 경우 데이터세트 (학습 데이터세트) 에 검증된 이미지를 추가하여 모델을 개선할 수 있습니다. 별도의 테스트 데이터 세트가 있는 경우 테스트 데이터 세트에 이미지를 더 추가하는 것을 고려해 보세요.

검증된 이미지를 데이터세트에 추가한 후에는 모델을 재학습하고 재평가하세요. 자세한 내용은 모델 학습 섹션을 참조하세요.

평가판 확인 결과를 검증하기 위해

https://console.aws.amazon.com/lookoutvision/에서 Amazon Lookout for Vision 콘솔을 엽니다.
왼쪽 탐색 창에서 프로젝트를 선택합니다.
프로젝트 페이지에서 사용할 프로젝트를 선택합니다. 프로젝트의 대시보드가 표시됩니다.
왼쪽 탐색 창에서 평가판 확인을 선택합니다.
확인하고자 하는 평가판 확인을 선택하십시오.
평가판 확인 페이지에서 기계 예측 확인을 선택합니다.
이 페이지에 있는 모든 이미지 선택을 선택합니다.
예측이 정확하면 올바른 것으로 확인을 선택합니다. 그렇지 않으면 틀린 것으로 확인을 선택합니다. 예측 및 예측 신뢰도 점수는 각 이미지 아래에 표시됩니다.
이미지의 레이블을 변경해야 하는 경우 다음을 수행하세요.
1. 이미지 아래에서 정정 또는 틀림을 선택합니다.
2. 이미지의 올바른 라벨을 결정할 수 없는 경우 갤러리에서 이미지를 선택하여 이미지를 확대하세요.
참고
필터 섹션에서 원하는 레이블 또는 레이블 상태를 선택하여 이미지 레이블을 필터링할 수 있습니다. 정렬 옵션 섹션에서 신뢰도 점수를 기준으로 정렬할 수 있습니다.
모델이 분할 모델이고 이미지의 마스크 또는 예외 항목 레이블이 잘못된 경우 이미지 아래에서 비정상 영역을 선택하고 주석 도구를 여십시오. 주석 도구를 사용하여 분할 레이블 수정하기를 수행하여 분할 정보를 업데이트하십시오.
모든 이미지가 확인될 때까지 필요에 따라 각 페이지에서 7~10단계를 반복합니다.
데이터세트에 검증된 이미지 추가를 선택합니다. 별도의 데이터 세트가 있는 경우 이미지가 학습 데이터 세트에 추가됩니다.
모델 재학습하기 자세한 내용은 모델 학습 섹션을 참조하세요.

주석 도구를 사용하여 분할 레이블 수정하기

주석 도구를 사용하면 마스크로 이상 영역을 표시하여 이미지를 분할할 수 있습니다.

주석 도구를 사용하여 이미지의 분할 레이블을 수정하려면

데이터세트 갤러리의 이미지 아래에 있는 비정상 영역을 선택하여 주석 도구를 엽니다.
마스크의 예외 항목 레이블이 올바르지 않은 경우 마스크를 선택한 다음 예외 항목 레이블에서 올바른 예외 항목 레이블을 선택합니다. 필요한 경우 예외 항목 레이블 추가를 선택하여 새 예외 항목 레이블을 추가합니다.
마스크가 올바르지 않으면 페이지 하단에 있는 그리기 도구를 선택하고 예외 항목 레이블의 이상 영역을 촘촘하게 덮는 마스크를 그리십시오. 다음 이미지는 예외 항목을 촘촘하게 가리는 마스크의 예입니다.

다음은 이상 현상을 완전히 가리지 않는 불량 마스크의 예제입니다.
수정해야 할 이미지가 더 있으면 다음을 선택하고 2단계와 3단계를 반복합니다.
제출 및 닫기를 선택하여 이미지 업데이트를 완료합니다.