Référence : fichier récapitulatif des résultats de l’entraînement

Le résumé des résultats de l’entraînement contient les métriques que vous pouvez utiliser pour évaluer votre modèle. Le fichier récapitulatif est également utilisé pour afficher les métriques dans la page de la console relative aux résultats de l’entraînement. Le fichier récapitulatif est stocké dans un compartiment Amazon S3 après l’entraînement. Pour obtenir le fichier récapitulatif, appelez DescribeProjectVersion. Pour obtenir un exemple de code, consultez Accès au fichier récapitulatif et à l’instantané du manifeste d’évaluation (kit SDK).

Fichier récapitulatif

Le format JSON suivant est le format du fichier récapitulatif.

EvaluationDetails (article 3)

Informations générales sur la tâche d’entraînement. Ces informations incluent l’ARN du projet auquel appartient le modèle (ProjectVersionArn), la date et l’heure de fin de l’entraînement, la version du modèle évalué (EvaluationEndTimestamp) et la liste des étiquettes détectées pendant l’entraînement (Labels). Figurent aussi le nombre d’images utilisées pour l’entraînement (NumberOfTrainingImages) et l’évaluation (NumberOfTestingImages).

AggregatedEvaluationResults (article 1)

Vous pouvez utiliser AggregatedEvaluationResults pour évaluer les performances globales du modèle entraîné lorsqu’il est utilisé avec le jeu de données des tests. Des métriques de cumul sont incluses pour les métriques Precision, Recall et F1Score. Pour la détection d’objets (emplacement de l’objet sur une image), les métriques AverageRecall (mAR) et AveragePrecision (mAP) sont renvoyées. Pour la classification (type d’objet dans une image), une métrique de matrice de confusion est renvoyée.

LabelEvaluationResults (article 2)

Vous pouvez utiliser labelEvaluationResults pour évaluer les performances de chaque étiquette. Les étiquettes sont triées en fonction du score F1 de chaque étiquette. Les métriques incluses sont Precision, Recall, F1Score et Threshold (utilisées pour la classification).

Le format du fichier est le suivant : EvaluationSummary-ProjectName-VersionName.json.

{
  "Version": "integer",
  // section-3
  "EvaluationDetails": {
    "ProjectVersionArn": "string",
    "EvaluationEndTimestamp": "string",
    "Labels": "[string]",
    "NumberOfTrainingImages": "int",
    "NumberOfTestingImages": "int"
  },
  // section-1
  "AggregatedEvaluationResults": {
    "Metrics": {
      "Precision": "float",
      "Recall": "float",
      "F1Score": "float",
      // The following 2 fields are only applicable to object detection
      "AveragePrecision": "float",
      "AverageRecall": "float",
      // The following field is only applicable to classification
      "ConfusionMatrix":[
        {
          "GroundTruthLabel": "string",
          "PredictedLabel": "string",
          "Value": "float"
        },
        ...
      ],
    }
  },
  // section-2
  "LabelEvaluationResults": [
    {
      "Label": "string",
      "NumberOfTestingImages", "int",
      "Metrics": {
        "Threshold": "float",
        "Precision": "float",
        "Recall": "float",
        "F1Score": "float"
      },
    },
    ...
  ]
}