評価マニフェストのスナップショット

評価マニフェストのスナップショットには、テスト結果に関する詳細情報が含まれています。スナップショットには各予測の信頼度が含まれます。また、イメージの実際の分類 (真陽性、真陰性、偽陽性、偽陰性) と比較した予測の分類も含まれます。

テストやトレーニングに使用できるイメージのみが含まれているため、ファイルはスナップショットです。間違った形式のイメージなど、検証できないイメージはマニフェストに含まれません。テスト用スナップショットの場所には、DescribeProjectVersions によって返された TestingDataResult オブジェクトからアクセスできます。トレーニング用スナップショットの場所には、DescribeProjectVersions によって返された TrainingDataResult オブジェクトからアクセスできます。

スナップショットは SageMaker Ground Truth マニフェスト出力形式で、検出の二項分類の結果などの追加情報を提供するためにフィールドが追加されています。次のスニペットは、追加フィールドを示しています。

"rekognition-custom-labels-evaluation-details": {
    "version": 1,
    "is-true-positive": true,
    "is-true-negative": false,
    "is-false-positive": false,
    "is-false-negative": false,
    "is-present-in-ground-truth": true
    "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"]
}

• version - マニフェストスナップショット内の rekognition-custom-labels-evaluation-details フィールド形式のバージョン。

• is-true-positive... - 信頼度スコアとラベルの最小しきい値の比較に基づく予測の二項分類。

• is-present-in-ground-truth - モデルが実行した予測がトレーニングに使用されるグラウンドトゥルース情報に含まれている場合は true、そうでない場合は false。この値は、モデルが計算した最小しきい値を信頼度スコアが超えているかどうかに基づいていません。

• ground-truth-labeling-jobs - テストに使用するマニフェストライン内のグラウンドトゥルースフィールドのリスト。

SageMaker Ground Truth マニフェスト形式の詳細については、「出力」を参照してください。

以下は、イメージ分類とオブジェクト検出のメトリクスを示すテスト用マニフェストスナップショットの例です。

// For image classification
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": 1,
  "rekognition-custom-labels-training-0-metadata": {
    "confidence": 1.0,
    "job-name": "rekognition-custom-labels-training-job",
    "class-name": "Football",
    "human-annotated": "yes",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification"
  },
  "rekognition-custom-labels-evaluation-0": 1,
  "rekognition-custom-labels-evaluation-0-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-name": "Football",
    "human-annotated": "no",
    "creation-date": "2019-09-06T00:07:25.488243",
    "type": "groundtruth/image-classification",
    "rekognition-custom-labels-evaluation-details": {
      "version": 1,
      "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
      "is-true-positive": true,
      "is-true-negative": false,
      "is-false-positive": false,
      "is-false-negative": false,
      "is-present-in-ground-truth": true
    }
  }
}


// For object detection
{
  "source-ref": "s3://test-bucket/dataset/beckham.jpeg",
  "rekognition-custom-labels-training-0": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-training-0-metadata": {
    "job-name": "rekognition-custom-labels-training-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "yes",
    "objects": [
      {
        "confidence": 1.0
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  },
  "rekognition-custom-labels-evaluation": {
    "annotations": [
      {
        "class_id": 0,
        "width": 39,
        "top": 409,
        "height": 63,
        "left": 712
      },
      ...
    ],
    "image_size": [
      {
        "width": 1024,
        "depth": 3,
        "height": 768
      }
    ]
  },
  "rekognition-custom-labels-evaluation-metadata": {
    "confidence": 0.95,
    "job-name": "rekognition-custom-labels-evaluation-job",
    "class-map": {
      "0": "Cap",
      ...
    },
    "human-annotated": "no",
    "objects": [
      {
        "confidence": 0.95,
        "rekognition-custom-labels-evaluation-details": {
          "version": 1,
          "ground-truth-labelling-jobs": ["rekognition-custom-labels-training-job"],
          "is-true-positive": true,
          "is-true-negative": false,
          "is-false-positive": false,
          "is-false-negative": false,
          "is-present-in-ground-truth": true
        }
      },
      ...
    ],
    "creation-date": "2019-10-21T22:02:18.432644",
    "type": "groundtruth/object-detection"
  }
}