Snapshot do manifesto de avaliação

O snapshot do manifesto de avaliação contém informações detalhadas sobre os resultados do teste. O snapshot inclui a classificação de confiança de cada previsão. Também inclui a classificação da previsão em comparação com a classificação real da imagem (verdadeiro positivo, verdadeiro negativo, falso positivo ou falso negativo).

Os arquivos são um snapshot, pois somente imagens que podem ser usadas para teste e treinamento estão incluídas. As imagens que não podem ser verificadas, como imagens no formato errado, não são incluídas no manifesto. O local do snapshot de teste pode ser acessado a partir do objeto TestingDataResult retornado por DescribeProjectVersions. O local do snapshot de treinamento pode ser acessado a partir do objeto TrainingDataResult retornado por DescribeProjectVersions.

O instantâneo está no formato de saída do manifesto SageMaker Ground Truth com campos adicionados para fornecer informações adicionais, como o resultado da classificação binária de uma detecção. O trecho a seguir mostra os campos adicionais.

"rekognition-custom-labels-evaluation-details": {
    "version": 1,
    "is-true-positive": true,
    "is-true-negative": false,
    "is-false-positive": false,
    "is-false-negative": false,
    "is-present-in-ground-truth": true
    "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"]
}

• versão: a versão do formato do rekognition-custom-labels-evaluation-details campo no snapshot do manifesto.

• is-true-positive... : a classificação binária da previsão com base em como a pontuação de confiança se compara ao limite mínimo do rótulo.

• is-present-in-ground-truth: verdadeiro se a previsão feita pelo modelo estiver presente nas informações de "verdade fundamental" usadas para treinamento; caso contrário, é falsa. Este valor não se baseia no fato de a pontuação de confiança exceder o limite mínimo calculado pelo modelo.

• ground-truth-labeling-jobs: uma lista de campos de "verdade fundamental" na linha de manifesto que são usados para treinamento.

Para obter informações sobre o formato do manifesto SageMaker Ground Truth, consulte Output.

Veja a seguir um exemplo de um snapshot do manifesto de teste que mostra métricas para classificação de imagens e detecção de objetos.

// For image classification
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": 1,
  "rekognition-custom-labels-training-0-metadata": {
    "confidence": 1.0,
    "job-name": "rekognition-custom-labels-training-job",
    "class-name": "Football",
    "human-annotated": "yes",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification"
  },
  "rekognition-custom-labels-evaluation-0": 1,
  "rekognition-custom-labels-evaluation-0-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-name": "Football",
    "human-annotated": "no",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification",
    "rekognition-custom-labels-evaluation-details": {
      "version": 1,
      "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
      "is-true-positive": true,
      "is-true-negative": false,
      "is-false-positive": false,
      "is-false-negative": false,
      "is-present-in-ground-truth": true
    }
  }
}


// For object detection
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-training-0-metadata": {
    "job-name": "rekognition-custom-labels-training-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "yes",
    "objects": [
      {
        "confidence": 1.0
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  },
  "rekognition-custom-labels-evaluation": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-evaluation-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "no",
    "objects": [
      {
        "confidence": 0.95,
        "rekognition-custom-labels-evaluation-details": {
          "version": 1,
          "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
          "is-true-positive": true,
          "is-true-negative": false,
          "is-false-positive": false,
          "is-false-negative": false,
          "is-present-in-ground-truth": true
        }
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  }
}