本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
查看监控结果
在生成预测然后导入更多数据之后,您可以查看预测变量监控的结果。您可以使用 Forecast 控制台查看结果的可视化,也可以使用ListMonitorEvaluationsoperation.
Forecast 控制台显示每个结果的图表预测器指标. 图表包括每个指标在预测变量和预测变量事件(例如再训练)的生命周期内的变化情况。
这些区域有:ListMonitorEvaluations操作返回不同时间窗口的指标结果和预测变量事件。
- Console
-
查看预测变量监控结果
登录到AWS Management Console在处打开 Amazon Forecast 控制台https://console.aws.amazon.com/forecast/
. -
从数据集组,选择数据集组。
-
在导航窗格中,选择。预测器.
-
选择预测变量然后选择监控选项卡。
-
这些区域有:监控结果部分显示了不同的准确度指标随着时间的推移而变 使用下拉列表更改图表跟踪的指标。
-
这些区域有:监控记录部分列出了结果中跟踪的不同事件的详细信息。
以下示例说明了
Avg wQL
预测变量的分数随着时间的推移发生了变化。在此图中,请注意Avg wQL
随着时间的推移,价值在增长 这一增长表明预测变量的准确性正在下降。使用此信息来确定是否需要重新验证模型并采取措施。 -
- SDK for Python (Boto3)
-
要使用 SDK for Python (Boto3) 获取监控结果,请使用
list_monitor_evaluations
方法。提供监控器的 Amazon 资源名称 (ARN),并可选择使用MaxResults
参数。(可选)指定Filter
以筛选结果。你可以通过EvaluationState
或者SUCCESS
要么FAILURE
. 以下代码最多可获得 20 个成功的监控评估。import boto3 forecast = boto3.client('forecast') monitor_results = forecast.list_monitor_evaluations( MonitorArn = '
monitor_arn
', MaxResults = 20, Filters = [ { "Condition": "IS", "Key": "EvaluationState", "Value": "SUCCESS" } ] ) print(monitor_results)以下是示例 JSON 响应。
{ "NextToken": "string", "PredictorMonitorEvaluations": [ { "MonitorArn": "MonitorARN", "ResourceArn": "PredictorARN", "EvaluationTime": "2020-01-02T00:00:00Z", "EvaluationState": "SUCCESS", "WindowStartDatetime": "2019-01-01T00:00:00Z", "WindowEndDatetime": "2019-01-03T00:00:00Z", "PredictorEvent": { "Detail": "Retrain", "Datetime": "2020-01-01T00:00:00Z" }, "MonitorDataSource": { "DatasetImportJobArn": "arn:aws:forecast:
region
:accountNumber
:dataset-import-job/*
", "ForecastArn": "arn:aws:forecast:region
:accountNumber
:forecast/*
", "PredictorArn": "arn:aws:forecast:region
:accountNumber
:predictor/*
", }, "MetricResults": [ { "MetricName": "AverageWeightedQuantileLoss", "MetricValue": 0.17009070456599376 }, { "MetricName": "MAPE", "MetricValue": 0.250711322309796 }, { "MetricName": "MASE", "MetricValue": 1.6275608734888485 }, { "MetricName": "RMSE", "MetricValue": 3100.7125081405547 }, { "MetricName": "WAPE", "MetricValue": 0.17101159704738722} ] } ] }