Cuplikan manifes evaluasi

Snapshot manifes evaluasi berisi informasi rinci tentang hasil tes. Cuplikan tersebut mencakup peringkat kepercayaan untuk setiap prediksi. Ini juga mencakup klasifikasi prediksi dibandingkan dengan klasifikasi gambar yang sebenarnya (positif benar, negatif benar, positif palsu, atau negatif palsu).

File adalah snapshot karena hanya gambar yang dapat digunakan untuk pengujian dan pelatihan yang disertakan. Gambar yang tidak dapat diverifikasi, seperti gambar dalam format yang salah, tidak disertakan dalam manifes. Lokasi snapshot pengujian dapat diakses dari TestingDataResult objek yang dikembalikan olehDescribeProjectVersions. Lokasi snapshot pelatihan dapat diakses dari TrainingDataResult objek yang dikembalikan olehDescribeProjectVersions.

Snapshot dalam format output manifes SageMaker Ground Truth dengan bidang ditambahkan untuk memberikan informasi tambahan, seperti hasil klasifikasi biner deteksi. Cuplikan berikut menunjukkan bidang tambahan.

"rekognition-custom-labels-evaluation-details": {
    "version": 1,
    "is-true-positive": true,
    "is-true-negative": false,
    "is-false-positive": false,
    "is-false-negative": false,
    "is-present-in-ground-truth": true
    "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"]
}

• versi — Versi format rekognition-custom-labels-evaluation-details bidang dalam snapshot manifes.

• benar-positif... — Klasifikasi biner prediksi berdasarkan bagaimana skor kepercayaan dibandingkan dengan ambang minimum untuk label.

• is-present-in-ground-truth — Benar jika prediksi yang dibuat oleh model hadir dalam informasi kebenaran dasar yang digunakan untuk pelatihan, jika tidak salah. Nilai ini tidak didasarkan pada apakah skor kepercayaan melebihi ambang minimum yang dihitung oleh model.

• ground-truth-labeling-jobs — Daftar bidang kebenaran dasar dalam garis manifes yang digunakan untuk pelatihan.

Untuk informasi tentang format manifes SageMaker Ground Truth, lihat Output.

Berikut ini adalah contoh pengujian snapshot manifes yang menunjukkan metrik untuk klasifikasi gambar dan deteksi objek.

// For image classification
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": 1,
  "rekognition-custom-labels-training-0-metadata": {
    "confidence": 1.0,
    "job-name": "rekognition-custom-labels-training-job",
    "class-name": "Football",
    "human-annotated": "yes",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification"
  },
  "rekognition-custom-labels-evaluation-0": 1,
  "rekognition-custom-labels-evaluation-0-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-name": "Football",
    "human-annotated": "no",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification",
    "rekognition-custom-labels-evaluation-details": {
      "version": 1,
      "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
      "is-true-positive": true,
      "is-true-negative": false,
      "is-false-positive": false,
      "is-false-negative": false,
      "is-present-in-ground-truth": true
    }
  }
}


// For object detection
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-training-0-metadata": {
    "job-name": "rekognition-custom-labels-training-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "yes",
    "objects": [
      {
        "confidence": 1.0
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  },
  "rekognition-custom-labels-evaluation": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-evaluation-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "no",
    "objects": [
      {
        "confidence": 0.95,
        "rekognition-custom-labels-evaluation-details": {
          "version": 1,
          "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
          "is-true-positive": true,
          "is-true-negative": false,
          "is-false-positive": false,
          "is-false-negative": false,
          "is-present-in-ground-truth": true
        }
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  }
}