预测器监控 - Amazon Forecast

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

预测器监控

注意

如果您启用预测器监控,Amazon Forecast 将存储您的每个预测的数据,以分析预测器性能,即使在删除预测数据之后。要删除该数据,请删除监控资源。

预测器监控允许您查看预测器的性能如何随时间变化。导致性能变化的因素有很多,例如经济发展或客户行为的变化。

例如,假设一个预测场景,其中目标是 sales,并且有两个相关的属性:pricecolor。在创建第一个预测器后的几个月内,某些颜色可能会出乎意料地更受客户欢迎。这可能会提高具有该属性的商品的销量。这些新数据可能会影响预测器的性能及其生成的预测的准确性。

启用预测器监控后,Forecast 会在您生成预测和导入更多数据时分析预测器的性能。Forecast 将新数据与之前的预测进行比较,以检测性能的任何变化。您可以在 Forecast 控制台中查看不同准确性指标随时间变化的图表。或者,您可以通过 ListMonitorEvaluations 操作获得监控结果。

预测器监控可以帮助决定是否需要重新训练预测器。如果性能下降,则可能需要根据最新数据重新训练预测器。如果选择重新训练预测器,则新的预测器将包括前一个预测器的监控数据。您也可以使用预测器监控收集有关生产环境的上下文数据,或者对不同的实验进行比较。

预测器监控仅适用于 AutoPredictor。可以将现有的传统预测器升级到 AutoPredictor。请参阅升级到 AutoPredictor

预测器监控工作流

要获得预测器监控结果,必须先使用预测器生成预测,然后导入更多数据。监控工作流如下所示:

  1. 为自动预测器启用预测器监控:

  2. 使用预测器生成一个或多个预测。

  3. 导入更多数据。有关将数据导入 Forecast 的信息,请参阅导入数据集

  4. 查看预测器监控结果:

    • 您可以在监控选项卡上查看预测器的结果。

    • 或者,您可以通过 ListMonitorEvaluations 操作获得监控结果。

    有关更多信息,请参阅 查看监控结果

限制和最佳实践

使用预测器监控时,请考虑以下限制和最佳实践。

  • 预测器监控仅适用于自动预测器 – 您无法为使用 AutoML 或通过手动选择创建的传统预测器启用监控。请参阅升级到 AutoPredictor

  • 每个自动预测器的预测器监控都是唯一的 – 每个自动预测器只能创建一个监控器。

  • 预测器监控需要新数据并生成预测 – 当您导入用于生成新预测的新数据时,预测器监控结果就会可用。如果您没有导入新数据,或者新导入的数据没有覆盖整个预测范围,您将看不到监控结果。

  • 预测器监控需要新的预测 – 您必须持续生成新的预测才能生成监控结果。如果没有生成新的预测,就不会看到监控结果。

  • Amazon Forecast 将存储您的每个预测的数据,以分析预测器性能 – 即使您删除预测,Forecast 也会存储这些数据。要删除这些数据,请删除关联的监控器。

  • StopResource 操作将停止所有当前评估和所有未来的评估。

  • 仅当您生成除均值以外的分位数的预测时,avgWQL 指标才可用。

  • ListMonitorEvaluations 操作中未显示正在进行的监控器评估。