查看监控结果 - Amazon Forecast

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看监控结果

在生成预测然后导入更多数据之后,您可以查看预测变量监控的结果。您可以使用 Forecast 控制台查看结果的可视化,也可以使用ListMonitorEvaluationsoperation.

Forecast 控制台显示每个结果的图表预测器指标. 图表包括每个指标在预测变量和预测变量事件(例如再训练)的生命周期内的变化情况。

这些区域有:ListMonitorEvaluations操作返回不同时间窗口的指标结果和预测变量事件。

Console

查看预测变量监控结果

  1. 登录到AWS Management Console在处打开 Amazon Forecast 控制台https://console.aws.amazon.com/forecast/.

  2. 数据集组,选择数据集组。

  3. 在导航窗格中,选择。预测器.

  4. 选择预测变量然后选择监控选项卡。

    • 这些区域有:监控结果部分显示了不同的准确度指标随着时间的推移而变 使用下拉列表更改图表跟踪的指标。

    • 这些区域有:监控记录部分列出了结果中跟踪的不同事件的详细信息。

    以下示例说明了Avg wQL预测变量的分数随着时间的推移发生了变化。在此图中,请注意Avg wQL随着时间的推移,价值在增长 这一增长表明预测变量的准确性正在下降。使用此信息来确定是否需要重新验证模型并采取措施。

SDK for Python (Boto3)

要使用 SDK for Python (Boto3) 获取监控结果,请使用list_monitor_evaluations方法。提供监控器的 Amazon 资源名称 (ARN),并可选择使用MaxResults参数。(可选)指定Filter以筛选结果。你可以通过EvaluationState或者SUCCESS要么FAILURE. 以下代码最多可获得 20 个成功的监控评估。

import boto3 forecast = boto3.client('forecast') monitor_results = forecast.list_monitor_evaluations( MonitorArn = 'monitor_arn', MaxResults = 20, Filters = [ { "Condition": "IS", "Key": "EvaluationState", "Value": "SUCCESS" } ] ) print(monitor_results)

以下是示例 JSON 响应。

{ "NextToken": "string", "PredictorMonitorEvaluations": [ { "MonitorArn": "MonitorARN", "ResourceArn": "PredictorARN", "EvaluationTime": "2020-01-02T00:00:00Z", "EvaluationState": "SUCCESS", "WindowStartDatetime": "2019-01-01T00:00:00Z", "WindowEndDatetime": "2019-01-03T00:00:00Z", "PredictorEvent": { "Detail": "Retrain", "Datetime": "2020-01-01T00:00:00Z" }, "MonitorDataSource": { "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*", "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*", "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*", }, "MetricResults": [ { "MetricName": "AverageWeightedQuantileLoss", "MetricValue": 0.17009070456599376 }, { "MetricName": "MAPE", "MetricValue": 0.250711322309796 }, { "MetricName": "MASE", "MetricValue": 1.6275608734888485 }, { "MetricName": "RMSE", "MetricValue": 3100.7125081405547 }, { "MetricName": "WAPE", "MetricValue": 0.17101159704738722} ] } ] }