参照: トレーニング結果概要ファイル

トレーニング結果の概要には、モデルの評価に使用できるメトリクスが含まれています。概要ファイルは、コンソールのトレーニング結果ページにメトリクスを表示するためにも使用されます。概要ファイルは、トレーニング後に Amazon S3 バケットに保存されます。概要ファイルを取得するには、DescribeProjectVersion を呼び出します。サンプルコードについては、「概要ファイルと評価マニフェストスナップショット (SDK) へのアクセス」を参照してください。

概要ファイル

次の JSON が概要ファイルの形式です。

EvaluationDetails （セクション 3)

トレーニングタスクに関する概要情報。これには、モデルが属するプロジェクトの ARN (ProjectVersionArn)、トレーニングが終了した日付と時刻、評価されたモデルのバージョン (EvaluationEndTimestamp)、トレーニング中に検出されたラベルのリスト (Labels) が含まれます。また、トレーニング (NumberOfTrainingImages) と評価 (NumberOfTestingImages) に使用されるイメージの数も含まれます。

AggregatedEvaluationResults （セクション 1)

AggregatedEvaluationResults をテストデータセットと併用すると、トレーニング済みモデルの全体的なパフォーマンスを評価できます。Precision、Recall、F1Score メトリクスには集計メトリクスが含まれます。オブジェクト検出 (イメージ上のオブジェクトの位置) では、AverageRecall (mAR) と AveragePrecision (mAP) メトリックが返されます。分類 (イメージ内のオブジェクトのタイプ) の場合、混同行列メトリクスが返されます。

LabelEvaluationResults （セクション 2)

labelEvaluationResults を使用して個々のラベルのパフォーマンスを評価できます。ラベルは各ラベルの F1 スコアでソートされます。含まれるメトリクスは Precision、Recall、F1Score、Threshold (分類に使用) です。

ファイル形式は EvaluationSummary-ProjectName-VersionName.json となります。

{
  "Version": "integer",
  // section-3
  "EvaluationDetails": {
    "ProjectVersionArn": "string",
    "EvaluationEndTimestamp": "string",
    "Labels": "[string]",
    "NumberOfTrainingImages": "int",
    "NumberOfTestingImages": "int"
  },
  // section-1
  "AggregatedEvaluationResults": {
    "Metrics": {
      "Precision": "float",
      "Recall": "float",
      "F1Score": "float",
      // The following 2 fields are only applicable to object detection
      "AveragePrecision": "float",
      "AverageRecall": "float",
      // The following field is only applicable to classification
      "ConfusionMatrix":[
        {
          "GroundTruthLabel": "string",
          "PredictedLabel": "string",
          "Value": "float"
        },
        ...
      ],
    }
  },
  // section-2
  "LabelEvaluationResults": [
    {
      "Label": "string",
      "NumberOfTestingImages", "int",
      "Metrics": {
        "Threshold": "float",
        "Precision": "float",
        "Recall": "float",
        "F1Score": "float"
      },
    },
    ...
  ]
}