참조: 훈련 결과 요약 파일

훈련 결과 요약에는 모델을 평가하는 데 사용할 수 있는 지표가 포함되어 있습니다. 요약 파일은 콘솔 훈련 결과 페이지에 지표를 표시하는 데도 사용됩니다. 요약 파일은 훈련 후 Amazon S3 버킷에 저장됩니다. 요약 파일을 가져오려면 DescribeProjectVersion를 직접 호출하세요. 예제 코드는 요약 파일 및 평가 매니페스트 스냅샷 액세스(SDK) 항목을 참조하세요.

요약 파일

다음 JSON은 요약 파일의 형식입니다.

EvaluationDetails (섹션 3)

훈련 작업에 대한 개요 정보입니다. 여기에는 모델이 속한 프로젝트의 ARN(ProjectVersionArn)), 훈련 종료 날짜 및 시간, 평가된 모델 버전(EvaluationEndTimestamp), 교육 중에 감지된 레이블 목록(Labels) 등이 포함됩니다. 또한 훈련(NumberOfTrainingImages) 및 평가(NumberOfTestingImages)에 사용된 이미지 수도 포함됩니다.

AggregatedEvaluationResults (섹션 1)

AggregatedEvaluationResults를 테스트 데이터 세트와 함께 사용할 경우 훈련된 모델의 전체 성능을 평가하는 데 사용할 수 있습니다. 집계된 지표는 Precision, Recall, 및 F1Score 지표에 포함됩니다. 객체 감지(이미지 상의 객체 위치)의 경우 AverageRecall(mAR) 및 AveragePrecision(mAP) 지표가 반환됩니다. 분류(이미지의 객체 유형)의 경우 오차 행렬 지표가 반환됩니다.

LabelEvaluationResults (섹션 2)

labelEvaluationResults를 개별 레이블의 성능을 평가하는 데 사용할 수 있습니다. 레이블은 각 레이블의 F1 점수를 기준으로 정렬됩니다. 포함된 지표는 Precision, Recall, F1Score, Threshold(분류에 사용됨)입니다.

파일 이름은 다음 형식을 띱니다: EvaluationSummary-ProjectName-VersionName.json

{
  "Version": "integer",
  // section-3
  "EvaluationDetails": {
    "ProjectVersionArn": "string",
    "EvaluationEndTimestamp": "string",
    "Labels": "[string]",
    "NumberOfTrainingImages": "int",
    "NumberOfTestingImages": "int"
  },
  // section-1
  "AggregatedEvaluationResults": {
    "Metrics": {
      "Precision": "float",
      "Recall": "float",
      "F1Score": "float",
      // The following 2 fields are only applicable to object detection
      "AveragePrecision": "float",
      "AverageRecall": "float",
      // The following field is only applicable to classification
      "ConfusionMatrix":[
        {
          "GroundTruthLabel": "string",
          "PredictedLabel": "string",
          "Value": "float"
        },
        ...
      ],
    }
  },
  // section-2
  "LabelEvaluationResults": [
    {
      "Label": "string",
      "NumberOfTestingImages", "int",
      "Metrics": {
        "Threshold": "float",
        "Precision": "float",
        "Recall": "float",
        "F1Score": "float"
      },
    },
    ...
  ]
}