Interpretazione dell'istantanea del manifesto di valutazione

L'istantanea del manifest di valutazione contiene informazioni dettagliate sui risultati del test. L'istantanea include l'indice di affidabilità per ogni previsione. Include anche la classificazione della previsione rispetto alla classificazione effettiva dell'immagine (vero positivo, vero negativo, falso positivo o falso negativo).

I file sono un'istantanea poiché sono incluse solo le immagini che possono essere utilizzate per test e addestramento. Le immagini che non possono essere verificate, ad esempio immagini nel formato sbagliato, non sono incluse nel manifest. La posizione dell'istantanea di test è accessibile dall'oggetto TestingDataResult restituito da DescribeProjectVersions. La posizione dell'istantanea di addestramento è accessibile dall'oggetto TrainingDataResult restituito da DescribeProjectVersions.

L'istantanea è in formato di output manifest di SageMaker Ground Truth con campi aggiunti per fornire informazioni aggiuntive, come il risultato della classificazione binaria di un rilevamento. Il seguente esempio mostra i campi aggiuntivi.

"rekognition-custom-labels-evaluation-details": {
    "version": 1,
    "is-true-positive": true,
    "is-true-negative": false,
    "is-false-positive": false,
    "is-false-negative": false,
    "is-present-in-ground-truth": true
    "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"]
}

• version — La versione del formato del campo rekognition-custom-labels-evaluation-details all'interno dell'istantanea del manifest.

• is-true-positive... — La classificazione binaria della previsione basata sul confronto tra il punteggio di affidabilità e la soglia minima per l'etichetta.

• is-present-in-ground-truth — Vero se la previsione fatta dal modello è presente nelle informazioni veritiere di base utilizzate per l'addestramento, altrimenti è falsa. Questo valore non si basa sul fatto che il punteggio di affidabilità superi la soglia minima calcolata dal modello.

• ground-truth-labeling-jobs— Un elenco di campi di verità fondamentali nella riga del manifesto utilizzati per l'addestramento.

Per informazioni sul formato manifest di SageMaker Ground Truth, vedete Output.

Di seguito è riportato un esempio di istantanea del manifest di test che mostra le metriche per la classificazione delle immagini e il rilevamento degli oggetti.

// For image classification
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": 1,
  "rekognition-custom-labels-training-0-metadata": {
    "confidence": 1.0,
    "job-name": "rekognition-custom-labels-training-job",
    "class-name": "Football",
    "human-annotated": "yes",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification"
  },
  "rekognition-custom-labels-evaluation-0": 1,
  "rekognition-custom-labels-evaluation-0-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-name": "Football",
    "human-annotated": "no",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification",
    "rekognition-custom-labels-evaluation-details": {
      "version": 1,
      "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
      "is-true-positive": true,
      "is-true-negative": false,
      "is-false-positive": false,
      "is-false-negative": false,
      "is-present-in-ground-truth": true
    }
  }
}


// For object detection
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-training-0-metadata": {
    "job-name": "rekognition-custom-labels-training-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "yes",
    "objects": [
      {
        "confidence": 1.0
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  },
  "rekognition-custom-labels-evaluation": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-evaluation-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "no",
    "objects": [
      {
        "confidence": 0.95,
        "rekognition-custom-labels-evaluation-details": {
          "version": 1,
          "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
          "is-true-positive": true,
          "is-true-negative": false,
          "is-false-positive": false,
          "is-false-negative": false,
          "is-present-in-ground-truth": true
        }
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  }
}