檢視效能指標

您可以透過呼叫 DescribeModel操作，從主控台和 取得效能指標。

檢視效能指標 （主控台）

訓練完成後，主控台會顯示效能指標。

Amazon Lookout for Vision 主控台會顯示下列測試期間所進行分類的效能指標：

• 精確度

• 取回

• F1 分數

如果模型是分割模型，主控台也會顯示每個異常標籤的下列效能指標：

• 找到異常標籤的測試影像數量。

• F1 分數

• 聯合 (IoU) 的平均交集

測試結果概觀區段會顯示測試資料集中影像的正確和不正確預測總數。您也可以在測試資料集中查看個別影像的預測和實際標籤指派。

下列程序說明如何從專案的模型清單檢視取得效能指標。

檢視效能指標 （主控台）

1. 開啟 Amazon Lookout for Vision 主控台，網址為 https：//https://console.aws.amazon.com/lookoutvision/。

2. 選擇開始使用。

3. 在左側導覽視窗中，選擇專案。

4. 在專案檢視中，選擇包含您要檢視之模型版本的專案。

5. 在左側導覽窗格中的專案名稱下，選擇模型。

6. 在模型清單檢視中，選擇您要檢視的模型版本。

7. 在模型詳細資訊頁面上，檢視效能指標索引標籤上的效能指標。

8. 注意下列事項：

   1. 模型效能指標區段包含模型針對測試映像所做的分類預測的整體模型指標 （精確度、召回、F1 分數）。

   2. 如果模型是影像分割模型，則每個標籤的效能區段會包含找到異常標籤的測試影像數量。您也可以看到每個異常標籤的指標 (F1 分數、平均 IoU)。

   3. 測試結果概觀區段提供 Lookout for Vision 用於評估模型之每個測試映像的結果。其包括以下內容：

      • 所有測試影像的正確 （真陽性） 和不正確 （假陰性） 分類預測 （正常或異常） 總數。

      • 每個測試映像的分類預測。如果您在影像下看到正確，預測的分類會與影像的實際分類相符。否則，模型無法正確分類映像。

      • 使用影像分割模型時，您會看到指派給影像的異常標籤，並在影像上遮罩符合異常標籤顏色的異常標籤。

檢視效能指標 (SDK)

您可以使用 DescribeModel 操作來取得模型、評估資訊清單和模型評估結果的摘要效能指標 （分類）。

取得摘要效能指標

模型在測試 (精確度、 取回和 F1 分數) 期間所做的分類預測的摘要效能指標，會在呼叫 時傳回Performance欄位中DescribeModel。

        "Performance": {
            "F1Score": 0.8,
            "Recall": 0.8,
            "Precision": 0.9
        },

Performance 欄位不包含分割模型傳回的異常標籤效能指標。您可以從 EvaluationResult 欄位取得它們。如需詳細資訊，請參閱檢閱評估結果。

如需摘要效能指標的詳細資訊，請參閱步驟 1：評估模型的效能。如需範例程式碼，請參閱 檢視模型 (SDK)。

使用評估資訊清單

評估資訊清單提供用於測試模型之個別影像的測試預測指標。對於測試資料集中的每個影像，JSON 行包含原始測試 （地面真相） 資訊和模型對影像的預測。Amazon Lookout for Vision 會將評估資訊清單存放在 Amazon S3 儲存貯體中。您可以從 DescribeModel 操作回應中的 EvaluationManifest 欄位取得位置。

"EvaluationManifest": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationManifest-my-sdk-project-1.json"
        }

檔案名稱格式為 EvaluationManifest-project name.json。如需範例程式碼，請參閱 檢視您的模型。

在下列範例 JSON 行中， class-name是影像內容的地面實況。在此範例中，映像包含異常。confidence 欄位顯示 Amazon Lookout for Vision 在預測中的可信度。

{
    "source-ref"*: "s3://customerbucket/path/to/image.jpg",
    "source-ref-metadata": {
        "creation-date": "2020-05-22T21:33:37.201882"
    },
   
    // Test dataset ground truth
    "anomaly-label": 1, 
    "anomaly-label-metadata": {
        "class-name": "anomaly",
        "type": "groundtruth/image-classification",
        "human-annotated": "yes",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "labeling-job/anomaly-detection"
    },
    // Anomaly label detected by Lookout for Vision
    "anomaly-label-detected": 1,
    "anomaly-label-detected-metadata": {
        "class-name": "anomaly",
        "confidence": 0.9,
        "type": "groundtruth/image-classification",
        "human-annotated": "no",
        "creation-date": "2020-05-22T21:33:37.201882",
        "job-name": "training-job/anomaly-detection",
        "model-arn": "lookoutvision-some-model-arn",
        "project-name": "lookoutvision-some-project-name",
        "model-version": "lookoutvision-some-model-version"
    }
}

檢閱評估結果

評估結果針對整個測試映像集具有下列彙總效能指標 （分類）：

• 精確度

• 取回

• ROC 曲線 （未在主控台中顯示）

• 平均精確度 （未在主控台中顯示）

• F1 分數

評估結果也包含用於訓練和測試模型的影像數量。

如果模型是分割模型，則評估結果也包含測試資料集中找到的每個異常標籤的下列指標：

• 精確度

• 取回

• F1 分數

• 聯合 (IoU) 的平均交集

Amazon Lookout for Vision 會將評估結果存放在 Amazon S3 儲存貯體中。您可以透過從 DescribeModel操作檢查回應EvaluationResult中的 值來取得位置。

"EvaluationResult": {
            "Bucket": "lookoutvision-us-east-1-nnnnnnnnnn",
            "Key": "my-sdk-project-model-output/EvaluationResult-my-sdk-project-1.json"
        }

檔案名稱格式為 EvaluationResult-project name.json。如需範例，請參閱「檢視您的模型」。

下列結構描述顯示評估結果。

    {
        "Version": 1,
        "EvaluationDetails":
        {
            "ModelArn": "string", // The Amazon Resource Name (ARN) of the model version.
            "EvaluationEndTimestamp": "string",   // The UTC date and time that evaluation finished.
            "NumberOfTrainingImages": int,        // The number of images that were successfully used for training.
            "NumberOfTestingImages": int          // The number of images that were successfully used for testing.
        },
        "AggregatedEvaluationResults":
        {
            "Metrics":
            {                       //Classification metrics.
                "ROCAUC": float,            // ROC area under the curve.
                "AveragePrecision": float,  // The average precision of the model.
                "Precision": float,         // The overall precision of the model.
                "Recall": float,            // The overall recall of the model.
                "F1Score": float,           // The overal F1 score for the model.
                
                "PixelAnomalyClassMetrics":     //Segmentation metrics.
                [
                    {
                        "Precision": float,       // The precision for the anomaly label.
                        "Recall": float,          // The recall for the anomaly label.
                        "F1Score": float,         // The F1 score for the anomaly label.
                        "AIOU" : float,           // The average Intersection Over Union for the anomaly label.
                        "ClassName": "string"   // The anomaly label.
                    }
                ]
            }
        }
    }