실패한 모델 훈련 디버깅

모델 훈련 중에 오류가 발생할 수 있습니다. Amazon Rekognition Custom Labels는 콘솔과 DescribeProjectVersions의 응답에서 훈련 오류를 보고합니다.

오류는 터미널(훈련을 계속할 수 없음)이거나 비터미널(훈련 계속 가능)입니다. 훈련 및 테스트 데이터 세트의 내용과 관련된 오류의 경우 검증 결과(매니페스트 요약, 훈련 및 테스트 검증 매니페스트)를 다운로드할 수 있습니다. 검증 결과의 오류 코드를 사용하여 이 항목에서 추가 정보를 찾아보세요. 이 항목에서는 매니페스트 파일 오류(매니페스트 파일 내용이 검증되기 전에 발생하는 터미널 오류)에 대한 정보도 제공합니다.

참고

매니페스트는 데이터 세트의 콘텐츠를 저장하는 데 사용되는 파일입니다.

Amazon Rekognition Custom Labels 콘솔을 사용하여 일부 오류를 수정할 수 있습니다. 다른 오류의 경우 훈련 또는 테스트 매니페스트 파일을 업데이트해야 할 수도 있습니다. IAM 권한과 같은 기타 변경이 필요할 수 있습니다. 자세한 내용은 개별 오류에 대한 설명서를 참조하세요.

터미널 오류

터미널 오류로 인해 모델 훈련이 중단됩니다. 터미널 훈련 오류에는 서비스 오류, 매니페스트 파일 오류, 매니페스트 콘텐츠 오류의 세 가지 범주가 있습니다.

콘솔에서 Amazon Rekognition Custom Labels는 프로젝트 페이지의 상태 메시지 열에 모델의 터미널 오류를 표시합니다.

AWSSDK를 사용하는 경우 DescribeProjectVersions의 응답을 확인하여 터미널 매니페스트 파일 오류 또는 터미널 매니페스트 콘텐츠 오류가 발생했는지 확인할 수 있습니다. 이 경우 Status 값은 TRAINING_FAILED이고 StatusMessage 필드에는 오류가 포함됩니다.

서비스 오류

Amazon Rekognition에서 서비스 문제가 발생하여 훈련을 계속할 수 없을 때 터미널 서비스 오류가 발생합니다. Amazon Rekognition Custom Labels가 의존하는 다른 서비스의 장애를 예로 들 수 있습니다. Amazon Rekognition에서 서비스 문제가 발생함에 따라 Amazon Rekognition Custom Labels가 콘솔에서 서비스 오류를 보고합니다. AWS SDK를 사용하는 경우 CreateProjectVersion 및 DescribeProjectVersions에서 훈련 중에 발생하는 서비스 오류가 InternalServerError 예외로 발생합니다.

서비스 오류가 발생하는 경우 모델 훈련을 다시 시도하세요. 훈련이 계속 실패하는 경우, AWS Support에 연락하여 서비스 오류와 함께 보고된 오류 정보를 제공하세요.

터미널 매니페스트 파일 오류

매니페스트 파일 오류는 훈련 및 테스트 데이터 세트에서 파일 수준 또는 여러 파일에서 발생하는 터미널 오류입니다. 매니페스트 파일 오류는 훈련 및 테스트 데이터 세트의 내용이 검증되기 전에 감지됩니다. 매니페스트 파일 오류로 인해 비터미널 검증 오류가 보고되지 않습니다. 예를 들어, 빈 훈련 매니페스트 파일은 매니페스트 파일이 비어 있습니다 오류가 발생합니다. 파일이 비어 있으므로 비터미널 JSON 라인 검증 오류는 보고될 수 없습니다. 매니페스트 요약도 생성되지 않습니다.

모델을 훈련하려면 먼저 매니페스트 파일 오류를 수정해야 합니다.

다음은 매니페스트 파일 오류 목록입니다.

• 매니페스트 파일 확장명 또는 콘텐츠가 유효하지 않습니다.

• 매니페스트 파일이 비어 있습니다.

• 매니페스트 파일 크기가 지원되는 최대 크기를 초과합니다.

• 출력 S3 버킷에 쓸 수 없습니다.

• S3 버킷 권한이 올바르지 않습니다.

터미널 매니페스트 콘텐츠 오류

매니페스트 콘텐츠 오류는 매니페스트 내의 콘텐츠와 관련된 터미널 오류입니다. 예를 들어 매니페스트 파일에 레이블당 레이블이 지정된 이미지가 충분하지 않아 자동 분할을 수행할 수 없습니다라는 오류가 발생하는 경우, 훈련 데이터 세트에 테스트 데이터 세트를 생성할 만큼 레이블이 지정된 이미지가 충분하지 않으므로 훈련을 완료할 수 없습니다.

오류는 콘솔과 DescribeProjectVersions 응답 양식에 보고될 뿐 아니라 다른 터미널 매니페스트 콘텐츠 오류와 함께 매니페스트 요약에도 보고됩니다. 자세한 내용은 매니페스트 요약 이해 섹션을 참조하세요.

비터미널 JSON 라인 오류는 별도의 훈련 및 테스트 검증 결과 매니페스트에도 보고됩니다. Amazon Rekognition Custom Labels에서 발견된 비터미널 JSON 라인 오류는 훈련을 중단시키는 매니페스트 콘텐츠 오류와 반드시 관련이 있는 것은 아닙니다. 자세한 내용은 훈련 및 테스트 검증 결과 매니페스트의 이해 섹션을 참조하세요.

모델을 훈련하려면 먼저 매니페스트 콘텐츠 오류를 수정해야 합니다.

다음은 매니페스트 콘텐츠 오류에 대한 오류 메시지입니다.

• 매니페스트 파일에 잘못된 행이 너무 많습니다.

• 매니페스트 파일에는 여러 S3 버킷의 이미지가 포함되어 있습니다.

• 이미지 S3 버킷의 소유자 ID가 잘못되었습니다.

• 매니페스트 파일에 레이블당 레이블이 지정된 이미지가 부족하여 자동 분할을 수행할 수 없습니다.

• 매니페스트 파일에 레이블이 너무 적습니다.

• 매니페스트 파일에 레이블이 너무 많습니다.

• 훈련 매니페스트 파일과 테스트 매니페스트 파일 간에 겹치는 레이블이 {}% 미만입니다.

• 매니페스트 파일에 사용 가능한 레이블이 너무 적습니다.

• 훈련 매니페스트 파일과 테스트 매니페스트 파일 간에 겹치는 사용 가능한 레이블이 {}% 미만입니다.

• S3 버킷에서 이미지를 복사하지 못했습니다.

비터미널 JSON 라인 검증 오류

JSON 라인 검증 오류는 Amazon Rekognition Custom Labels가 모델 훈련을 중단할 필요가 없는 비터미널 오류입니다.

JSON 라인 검증 오류는 콘솔에 표시되지 않습니다.

훈련 및 테스트 데이터 세트에서 JSON 라인은 하나의 이미지에 대한 훈련 또는 테스트 정보를 나타냅니다. 잘못된 이미지와 같은 JSON 라인의 검증 오류는 훈련 및 테스트 검증 매니페스트에 보고됩니다. Amazon Rekognition Custom Labels는 매니페스트에 있는 다른 유효한 JSON 라인을 사용하여 훈련을 완료합니다. 자세한 내용은 훈련 및 테스트 검증 결과 매니페스트의 이해 섹션을 참조하세요. 검증 규칙에 대한 자세한 내용은 매니페스트 파일의 검증 규칙 항목을 참조하세요.

참고

JSON 라인 오류가 너무 많으면 훈련이 실패합니다.

향후 오류를 유발하거나 모델 훈련에 영향을 미칠 수 있으므로 비터미널 JSON 라인 오류도 수정하는 것이 좋습니다.

Amazon Rekognition Custom Labels는 다음과 같은 비터미널 JSON 라인 검증 오류를 생성할 수 있습니다.

• source-ref 키가 누락되었습니다.

• source-ref 값의 형식이 잘못되었습니다.

• 레이블 속성을 찾을 수 없습니다.

• 레이블 속성 {}의 형식이 잘못되었습니다.

• 레이블 attributemetadata의 형식이 잘못되었습니다.

• 유효한 레이블 속성을 찾을 수 없습니다.

• 하나 이상의 경계 상자에 신뢰도 값이 누락되었습니다.

• 클래스 맵에서 하나 이상의 클래스 ID가 누락되었습니다.

• JSON 라인의 형식이 잘못되었습니다.

• 이미지가 유효하지 않습니다. S3 경로 및/또는 이미지 속성을 확인하세요.

• 경계 상자에 오프 프레임 값이 있습니다.

• 경계 상자의 높이와 너비가 너무 작습니다.

• 경계 상자가 허용된 최대 값보다 많습니다.

• 유효한 주석을 찾을 수 없습니다.