查看监控结果

生成预测并导入更多数据后，您可以查看预测器监控的结果。您可以使用 Forecast 控制台查看结果的可视化，也可以通过 ListMonitorEvaluations 操作以编程方式检索结果。

Forecast 控制台显示每个预测器指标的结果图表。图表包括每个指标在预测器和预测器事件（例如再训练）的生命周期中的变化情况。

ListMonitorEvaluations 操作返回不同时间段的指标结果和预测器事件。

Console

要查看预测器监控结果

1. 登录到 AWS Management Console 并打开 Amazon Forecast 控制台，网址：https://console.aws.amazon.com/forecast/。

2. 从数据集组中，选择您的数据集组。

3. 在导航窗格中，选择预测器。

4. 选择预测器并选择监控选项卡。

   • 监控结果部分显示不同的准确性指标随着时间的变化。使用下拉列表更改图表跟踪的指标。

   • 监控历史记录部分列出了在结果中跟踪的不同事件的详细信息。

   以下是预测器的 Avg wQL 分数随时间变化的图表示例。在该图表中，请注意 Avg wQL 值会随着时间增加。该增加表明预测器的准确性正在降低。使用该信息确定是否需要重新验证模型并采取措施。

   

SDK for Python (Boto3)

要使用适用于 Python 的 SDK（Boto3）获取监控结果，请使用 list_monitor_evaluations 方法。提供监控器的 Amazon 资源名称（ARN），也可以选择使用 MaxResults 参数指定要检索的结果的最大数量。可以选择指定 Filter 以筛选结果。可通过 SUCCESS 或 FAILURE 的 EvaluationState 筛选评估。以下代码最多可获得 20 次成功的监控评估。

import boto3
                            
forecast = boto3.client('forecast')

monitor_results = forecast.list_monitor_evaluations(
    MonitorArn = 'monitor_arn',
    MaxResults = 20,
    Filters = [ 
      { 
         "Condition": "IS",
         "Key": "EvaluationState",
         "Value": "SUCCESS"
      }
   ]
)
print(monitor_results)
                    

以下是示例 JSON 响应。

{
  "NextToken": "string",
  "PredictorMonitorEvaluations": [
    {
      "MonitorArn": "MonitorARN",
      "ResourceArn": "PredictorARN",
      "EvaluationTime": "2020-01-02T00:00:00Z",
      "EvaluationState": "SUCCESS",
      "WindowStartDatetime": "2019-01-01T00:00:00Z",
      "WindowEndDatetime": "2019-01-03T00:00:00Z",
      "PredictorEvent": {
        "Detail": "Retrain",
        "Datetime": "2020-01-01T00:00:00Z"
      },
      "MonitorDataSource": {
        "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
        "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
        "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
      
      },
      "MetricResults": [
        {
          "MetricName": "AverageWeightedQuantileLoss",
          "MetricValue": 0.17009070456599376
        },
        {
          "MetricName": "MAPE",
          "MetricValue": 0.250711322309796
        },
        {
          "MetricName": "MASE",
          "MetricValue": 1.6275608734888485
        },
        {
          "MetricName": "RMSE",
          "MetricValue": 3100.7125081405547
        },
        {
          "MetricName": "WAPE",
          "MetricValue": 0.17101159704738722}
      ]
    }
  ]
}