Bewertungsmanifest-Snapshot

Der Bewertungs-Manifest-Snapshot enthält detaillierte Informationen über die Testergebnisse. Der Snapshot enthält die Konfidenzbewertung für jede Vorhersage. Er beinhaltet auch die Klassifizierung der Vorhersage im Vergleich zur tatsächlichen Klassifizierung des Bildes (richtig positiv, wahr negativ, falsch positiv oder falsch negativ).

Bei den Dateien handelt es sich um Schnappschüsse, da nur Bilder enthalten sind, die für Tests und Trainings verwendet werden könnten. Bilder, die nicht verifiziert werden können, z. B. Bilder im falschen Format, sind nicht im Manifest enthalten. Auf den Speicherort des Test-Snapshots kann über das TestingDataResult Objekt zugegriffen werden, das von DescribeProjectVersions zurückgegeben wurde. Auf den Speicherort des Trainings-Snapshots kann über das TrainingDataResult Objekt zugegriffen werden, das von DescribeProjectVersions zurückgegeben wurde.

Der Snapshot liegt im SageMaker Ground-Truth-Manifest-Ausgabeformat vor, wobei Felder hinzugefügt wurden, um zusätzliche Informationen bereitzustellen, z. B. das Ergebnis der binären Klassifizierung einer Erkennung. Der folgende Ausschnitt zeigt die zusätzlichen Felder.

"rekognition-custom-labels-evaluation-details": {
    "version": 1,
    "is-true-positive": true,
    "is-true-negative": false,
    "is-false-positive": false,
    "is-false-negative": false,
    "is-present-in-ground-truth": true
    "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"]
}

• Version — Die Version des rekognition-custom-labels-evaluation-details Feldformats im Manifest-Snapshot.

• ist wahr-positiv... — Die binäre Klassifikation der Vorhersage basiert darauf, wie der Konfidenzwert im Vergleich zum Mindestschwellenwert für das Label abschneidet.

• ist-präsent-in-ground-truth — Wahr, wenn die vom Modell getroffene Vorhersage in den für das Training verwendeten Ground Truth-Informationen enthalten ist, andernfalls falsch. Dieser Wert basiert nicht darauf, ob der Konfidenzwert den vom Modell berechneten Mindestschwellenwert überschreitet.

• Ground Truth-Labeling-Jobs — Eine Liste von Ground-Truth-Feldern in der Manifestzeile, die für Trainings verwendet werden.

Informationen zum SageMaker Ground Truth-Manifestformat finden Sie unter Ausgabe.

Im Folgenden finden Sie ein Beispiel für einen Snapshot eines Testmanifests, der Metriken für die Bildklassifizierung und Objekterkennung zeigt.

// For image classification
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": 1,
  "rekognition-custom-labels-training-0-metadata": {
    "confidence": 1.0,
    "job-name": "rekognition-custom-labels-training-job",
    "class-name": "Football",
    "human-annotated": "yes",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification"
  },
  "rekognition-custom-labels-evaluation-0": 1,
  "rekognition-custom-labels-evaluation-0-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-name": "Football",
    "human-annotated": "no",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification",
    "rekognition-custom-labels-evaluation-details": {
      "version": 1,
      "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
      "is-true-positive": true,
      "is-true-negative": false,
      "is-false-positive": false,
      "is-false-negative": false,
      "is-present-in-ground-truth": true
    }
  }
}


// For object detection
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-training-0-metadata": {
    "job-name": "rekognition-custom-labels-training-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "yes",
    "objects": [
      {
        "confidence": 1.0
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  },
  "rekognition-custom-labels-evaluation": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-evaluation-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "no",
    "objects": [
      {
        "confidence": 0.95,
        "rekognition-custom-labels-evaluation-details": {
          "version": 1,
          "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
          "is-true-positive": true,
          "is-true-negative": false,
          "is-false-positive": false,
          "is-false-negative": false,
          "is-present-in-ground-truth": true
        }
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  }
}