Interpretación de la instantánea del manifiesto de evaluación

El resumen de manifiesto de evaluación incluye información detallada sobre los resultados de la prueba. Este resumen registra el índice de confianza de cada predicción. También incluye la clasificación de la predicción en comparación con la clasificación real de la imagen (verdadero positivo, verdadero negativo, falso positivo o falso negativo).

Los archivos vienen resumidos, ya que solo se incluyen imágenes que podrían usarse para las pruebas y el entrenamiento. Las imágenes que no se pueden verificar, como las que tienen un formato incorrecto, no vienen incluidas en el manifiesto. Se puede acceder a la ubicación del resumen de las pruebas en el objeto TestingDataResult devuelto por DescribeProjectVersions. Se puede acceder a la ubicación del resumen del entrenamiento en el objeto TrainingDataResult devuelto por DescribeProjectVersions.

La instantánea tiene el formato de salida del manifiesto SageMaker Ground Truth y se añaden campos para proporcionar información adicional, como el resultado de la clasificación binaria de una detección. En el siguiente fragmento se ven los campos adicionales.

"rekognition-custom-labels-evaluation-details": {
    "version": 1,
    "is-true-positive": true,
    "is-true-negative": false,
    "is-false-positive": false,
    "is-false-negative": false,
    "is-present-in-ground-truth": true
    "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"]
}

• version: la versión del formato del campo rekognition-custom-labels-evaluation-details incluida en el resumen del manifiesto.

• is-true-positive... : la clasificación binaria de la predicción en función de cómo se compara la puntuación de confianza con el umbral mínimo de la etiqueta.

• is-present-in-ground-truth: Verdadero si la predicción realizada por el modelo está presente en la información de verdad básica utilizada para el entrenamiento; de lo contrario, es falsa. Este valor no se basa en si la puntuación de confianza supera el umbral mínimo calculado por el modelo.

• ground-truth-labeling-jobs— Una lista de los campos de verdad básica de la línea del manifiesto que se utilizan para el entrenamiento.

Para obtener información sobre el formato de manifiesto de SageMaker Ground Truth, consulte Salida.

El siguiente es un ejemplo de un resumen del manifiesto de prueba donde figuran las métricas de la clasificación de imágenes y la detección de objetos.

// For image classification
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": 1,
  "rekognition-custom-labels-training-0-metadata": {
    "confidence": 1.0,
    "job-name": "rekognition-custom-labels-training-job",
    "class-name": "Football",
    "human-annotated": "yes",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification"
  },
  "rekognition-custom-labels-evaluation-0": 1,
  "rekognition-custom-labels-evaluation-0-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-name": "Football",
    "human-annotated": "no",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification",
    "rekognition-custom-labels-evaluation-details": {
      "version": 1,
      "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
      "is-true-positive": true,
      "is-true-negative": false,
      "is-false-positive": false,
      "is-false-negative": false,
      "is-present-in-ground-truth": true
    }
  }
}


// For object detection
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-training-0-metadata": {
    "job-name": "rekognition-custom-labels-training-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "yes",
    "objects": [
      {
        "confidence": 1.0
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  },
  "rekognition-custom-labels-evaluation": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-evaluation-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "no",
    "objects": [
      {
        "confidence": 0.95,
        "rekognition-custom-labels-evaluation-details": {
          "version": 1,
          "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
          "is-true-positive": true,
          "is-true-negative": false,
          "is-false-positive": false,
          "is-false-negative": false,
          "is-present-in-ground-truth": true
        }
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  }
}