Reference: archivo de resumen de los resultados del entrenamiento

El resumen de los resultados del entrenamiento incluye métricas que puede utilizar para evaluar el modelo. El archivo de resumen también sirve para ver las métricas en la página de resultados del entrenamiento en la consola. El archivo de resumen se almacena en un bucket de Amazon S3 tras el entrenamiento. Para obtener el archivo de resumen, llame a DescribeProjectVersion. Para ver el código de ejemplo, consulte Acceder al archivo de resumen y a la instantánea del manifiesto de evaluación (SDK).

Archivo de resumen

El siguiente JSON es el formato del archivo de resumen.

EvaluationDetails (sección 3)

Información general sobre la tarea de entrenamiento. Esto incluye el ARN proyecto al que pertenece el modelo ()ProjectVersionArn), la fecha y hora en que finalizó el entrenamiento, la versión del modelo que se evaluó (EvaluationEndTimestamp) y una lista de etiquetas detectadas durante el entrenamiento (Labels). También se incluye el número de imágenes utilizadas para el entrenamiento (NumberOfTrainingImages) y la evaluación (NumberOfTestingImages).

AggregatedEvaluationResults (sección 1)

Se puede utilizar AggregatedEvaluationResults para evaluar el rendimiento general del modelo entrenado cuando se utiliza con el conjunto de datos de prueba. Se incluyen métricas acumuladas para las métricas Precision, Recall y F1Score. Para la detección de objetos (la ubicación de objetos en una imagen), se devuelven las métricas AverageRecall (mAR) y AveragePrecision (MaP). Para la clasificación (el tipo de objeto en una imagen), se devuelve una métrica de matriz de confusión.

LabelEvaluationResults (sección 2)

Se puede utilizar labelEvaluationResults para evaluar el rendimiento de etiquetas concretas. Las etiquetas se ordenan según la puntuación F1 de cada etiqueta. Las métricas incluidas son Precision, Recall, F1Score y Threshold (utilizadas para la clasificación).

El nombre de archivo tiene el formato siguiente: EvaluationSummary-ProjectName-VersionName.json.

{
  "Version": "integer",
  // section-3
  "EvaluationDetails": {
    "ProjectVersionArn": "string",
    "EvaluationEndTimestamp": "string",
    "Labels": "[string]",
    "NumberOfTrainingImages": "int",
    "NumberOfTestingImages": "int"
  },
  // section-1
  "AggregatedEvaluationResults": {
    "Metrics": {
      "Precision": "float",
      "Recall": "float",
      "F1Score": "float",
      // The following 2 fields are only applicable to object detection
      "AveragePrecision": "float",
      "AverageRecall": "float",
      // The following field is only applicable to classification
      "ConfusionMatrix":[
        {
          "GroundTruthLabel": "string",
          "PredictedLabel": "string",
          "Value": "float"
        },
        ...
      ],
    }
  },
  // section-2
  "LabelEvaluationResults": [
    {
      "Label": "string",
      "NumberOfTestingImages", "int",
      "Metrics": {
        "Threshold": "float",
        "Precision": "float",
        "Recall": "float",
        "F1Score": "float"
      },
    },
    ...
  ]
}