Referensi: File ringkasan hasil pelatihan

Ringkasan hasil pelatihan berisi metrik yang dapat Anda gunakan untuk mengevaluasi model Anda. File ringkasan juga digunakan untuk menampilkan metrik di halaman hasil pelatihan konsol. File ringkasan disimpan dalam ember Amazon S3 setelah pelatihan. Untuk mendapatkan file ringkasan, hubungiDescribeProjectVersion. Untuk kode sampel, lihat Mengakses file ringkasan dan snapshot manifes evaluasi (SDK).

File ringkasan

JSON berikut adalah format file ringkasan.

EvaluationDetails (bagian 3)

Ikhtisar informasi tentang tugas pelatihan. Ini termasuk ARN dari proyek yang dimiliki model (ProjectVersionArn), tanggal dan waktu pelatihan selesai, versi model yang dievaluasi (EvaluationEndTimestamp), dan daftar label yang terdeteksi selama pelatihan (). Labels Juga termasuk jumlah gambar yang digunakan untuk pelatihan (NumberOfTrainingImages) dan evaluasi (NumberOfTestingImages).

AggregatedEvaluationResults (bagian 1)

Anda dapat menggunakan AggregatedEvaluationResults untuk mengevaluasi kinerja keseluruhan model terlatih saat digunakan dengan kumpulan data pengujian. Metrik agregat disertakan untukPrecision,Recall, dan F1Score metrik. Untuk deteksi objek (lokasi objek pada gambar), metrik AverageRecall (mAr) dan AveragePrecision (mAp) dikembalikan. Untuk klasifikasi (jenis objek dalam gambar), metrik matriks kebingungan dikembalikan.

LabelEvaluationResults (bagian 2)

Anda dapat menggunakan labelEvaluationResults untuk mengevaluasi kinerja masing-masing label. Label diurutkan berdasarkan skor F1 dari setiap label. Metrik yang disertakan adalahPrecision,Recall,F1Score, dan Threshold (digunakan untuk klasifikasi).

Nama file diformat sebagai berikut:EvaluationSummary-ProjectName-VersionName.json.

{
  "Version": "integer",
  // section-3
  "EvaluationDetails": {
    "ProjectVersionArn": "string",
    "EvaluationEndTimestamp": "string",
    "Labels": "[string]",
    "NumberOfTrainingImages": "int",
    "NumberOfTestingImages": "int"
  },
  // section-1
  "AggregatedEvaluationResults": {
    "Metrics": {
      "Precision": "float",
      "Recall": "float",
      "F1Score": "float",
      // The following 2 fields are only applicable to object detection
      "AveragePrecision": "float",
      "AverageRecall": "float",
      // The following field is only applicable to classification
      "ConfusionMatrix":[
        {
          "GroundTruthLabel": "string",
          "PredictedLabel": "string",
          "Value": "float"
        },
        ...
      ],
    }
  },
  // section-2
  "LabelEvaluationResults": [
    {
      "Label": "string",
      "NumberOfTestingImages", "int",
      "Metrics": {
        "Threshold": "float",
        "Precision": "float",
        "Recall": "float",
        "F1Score": "float"
      },
    },
    ...
  ]
}