Referenz: Datei mit der Übersicht über die Trainingsergebnisse

Die Übersicht über die Trainingsergebnisse enthält Metriken, die Sie zur Bewertung Ihres Modells verwenden können. Die Übersichtsdatei wird auch verwendet, um Metriken auf der Seite mit den Trainingsergebnissen der Konsole anzuzeigen. Die Übersichtsdatei wird nach dem Training in einem Amazon-S3-Bucket gespeichert. Rufen Sie DescribeProjectVersion auf, um die Übersichtsdatei zu erhalten. Beispielcode finden Sie unter Zugriff auf die Übersichtsdatei und den Snapshot (SDK) des Bewertungsmanifests.

Übersichtsdatei

Das folgende JSON-Format ist das Format der Übersichtsdatei.

EvaluationDetails (Abschnitt 3)

Übersichtsinformationen über die Trainingsaufgabe. Dazu gehören der ARN des Projekts, zu dem das Modell gehört (ProjectVersionArn), Datum und Uhrzeit des Abschlusses des Trainings, die Version des Modells, die bewertet wurde (EvaluationEndTimestamp) und eine Liste der während des Trainings erkannten Labels (Labels). Ebenfalls enthalten ist die Anzahl der Bilder, die für das Training (NumberOfTrainingImages) und die Bewertung (NumberOfTestingImages) verwendet wurden.

AggregatedEvaluationResults (Abschnitt 1)

Sie können AggregatedEvaluationResults verwenden, um die Gesamtleistung des trainierten Modells zu bewerten, wenn es mit dem Testdatensatz verwendet wird. Aggregierte Metriken sind für die Metriken Precision, Recall und F1Score enthalten. Für die Objekterkennung (die Objektposition auf einem Bild) werden AverageRecall (mAR) und AveragePrecision (mAP) Metriken zurückgegeben. Für die Klassifizierung (der Objekttyp in einem Bild) wird eine Metrik mit einer Konfusionsmatrix zurückgegeben.

LabelEvaluationResults (Abschnitt 2)

Sie können labelEvaluationResults verwenden, um die Leistung einzelner Labels zu bewerten. Die Labels sind nach dem F1-Wert der einzelnen Labels sortiert. Die enthaltenen Metriken sind Precision, Recall, F1Score und Threshold (werden zur Klassifizierung verwendet).

Der Dateiname ist wie folgt formatiert: EvaluationSummary-ProjectName-VersionName.json.

{
  "Version": "integer",
  // section-3
  "EvaluationDetails": {
    "ProjectVersionArn": "string",
    "EvaluationEndTimestamp": "string",
    "Labels": "[string]",
    "NumberOfTrainingImages": "int",
    "NumberOfTestingImages": "int"
  },
  // section-1
  "AggregatedEvaluationResults": {
    "Metrics": {
      "Precision": "float",
      "Recall": "float",
      "F1Score": "float",
      // The following 2 fields are only applicable to object detection
      "AveragePrecision": "float",
      "AverageRecall": "float",
      // The following field is only applicable to classification
      "ConfusionMatrix":[
        {
          "GroundTruthLabel": "string",
          "PredictedLabel": "string",
          "Value": "float"
        },
        ...
      ],
    }
  },
  // section-2
  "LabelEvaluationResults": [
    {
      "Label": "string",
      "NumberOfTestingImages", "int",
      "Metrics": {
        "Threshold": "float",
        "Precision": "float",
        "Recall": "float",
        "F1Score": "float"
      },
    },
    ...
  ]
}