Riferimento: file di riepilogo dei risultati di addestramento

Il riepilogo dei risultati di addestramento contiene metriche che puoi utilizzare per valutare il tuo modello. Il file di riepilogo viene utilizzato anche per visualizzare le metriche nella pagina dei risultati di addestramento della console. Il file di riepilogo viene archiviato in un bucket Amazon S3 dopo l'addestramento. Per ottenere il file di riepilogo, chiama DescribeProjectVersion. Per il codice di esempio, consulta Accesso al file di riepilogo e all’istantanea del manifest di valutazione (SDK).

File di riepilogo

Il seguente formato JSON è il formato del file di riepilogo.

EvaluationDetails (sezione 3)

Riepilogo dell'attività di addestramento. Ciò include l'ARN del progetto a cui appartiene il modello (ProjectVersionArn)), la data e l'ora di conclusione dell’addestramento, la versione del modello che è stata valutata (EvaluationEndTimestamp) e un elenco di etichette rilevate durante l'addestramento (Labels). È incluso anche il numero di immagini utilizzate per l’addestramento (NumberOfTrainingImages) e la valutazione (NumberOfTestingImages).

AggregatedEvaluationResults (sezione 1)

È possibile utilizzare AggregatedEvaluationResults per valutare le prestazioni complessive del modello addestrato quando utilizzato con il set di dati di test. Metriche aggregate sono incluse per le metriche Precision, Recall, e F1Score. Per il rilevamento di oggetti (la posizione di oggetto su un'immagine), vengono restituite le metriche AverageRecall (mAR) e AveragePrecision (mAP). Per la classificazione (il tipo di oggetto in un'immagine), viene restituita una metrica di matrice di confusione.

LabelEvaluationResults (sezione 2)

È possibile utilizzare labelEvaluationResults per valutare le prestazioni di singole etichette. Le etichette sono ordinate in base al punteggio F1 di ciascuna etichetta. Le metriche incluse sono Precision, Recall, F1Score e Threshold (utilizzate per la classificazione).

Il nome del file viene formattato come segue: EvaluationSummary-ProjectName-VersionName.json.

{
  "Version": "integer",
  // section-3
  "EvaluationDetails": {
    "ProjectVersionArn": "string",
    "EvaluationEndTimestamp": "string",
    "Labels": "[string]",
    "NumberOfTrainingImages": "int",
    "NumberOfTestingImages": "int"
  },
  // section-1
  "AggregatedEvaluationResults": {
    "Metrics": {
      "Precision": "float",
      "Recall": "float",
      "F1Score": "float",
      // The following 2 fields are only applicable to object detection
      "AveragePrecision": "float",
      "AverageRecall": "float",
      // The following field is only applicable to classification
      "ConfusionMatrix":[
        {
          "GroundTruthLabel": "string",
          "PredictedLabel": "string",
          "Value": "float"
        },
        ...
      ],
    }
  },
  // section-2
  "LabelEvaluationResults": [
    {
      "Label": "string",
      "NumberOfTestingImages", "int",
      "Metrics": {
        "Threshold": "float",
        "Precision": "float",
        "Recall": "float",
        "F1Score": "float"
      },
    },
    ...
  ]
}