モニタリング結果の表示

予想を生成し、さらにデータをインポートすると、予測子モニタリング結果が表示されます。Forecast コンソールを使用して結果を可視化することも、ListMonitorEvaluations オペレーションを使用して結果をプログラム的に取得することもできます。

Forecast コンソールには、各予測子メトリクスの結果のグラフが表示されます。グラフには、予測子と予測子のイベント (再トレーニングなど) の存続期間における各メトリクスの変化が含まれます。

ListMonitorEvaluations オペレーションでは、さまざまな期間のメトリクス結果と予測イベントが返されます。

Console

予測子のモニタリング結果を表示するには

1. AWS Management Console にサインインして、Amazon Forecast コンソール (https://console.aws.amazon.com/forecast/) を開きます。

2. [Dataset groups] (データセットグループ) から、データセットグループを選択します。

3. ナビゲーションペインで、[Predictors] (予測子) を選択します。

4. 予測子を選び、[モニタリング] タブを選択します。

   • [モニタリング結果] セクションには、さまざまな精度メトリクスが時間の経過とともにどのように変化したかが示されます。ドロップダウンリストを使用して、グラフが追跡する指標を変更します。

   • [モニタリング履歴] セクションには、結果で追跡されたさまざまなイベントの詳細が一覧表示されます。

   以下は、予測子の Avg wQL スコアが時間の経過とともにどのように変化したかを示すグラフの例です。このグラフでは、Avg wQL 値が時間とともに増加していることがわかります。この増加は、予測子の精度が低下していることを示しています。この情報を使用して、モデルを再検証して対策を講じる必要があるかどうかを判断します。

   

SDK for Python (Boto3)

SDK for Python (Boto3) でモニタリング結果を取得するには、list_monitor_evaluations メソッドを使用します。モニターの Amazon リソースネーム (ARN) を指定し、オプションで取得する結果の最大数を MaxResults パラメータで指定します。オプションで Filter を指定して結果をフィルタリングします。SUCCESS または FAILURE のいずれかの EvaluationState で評価をフィルタリングできます。次のコードでは、モニタリング評価が最大 20 回成功します。

import boto3
                            
forecast = boto3.client('forecast')

monitor_results = forecast.list_monitor_evaluations(
    MonitorArn = 'monitor_arn',
    MaxResults = 20,
    Filters = [ 
      { 
         "Condition": "IS",
         "Key": "EvaluationState",
         "Value": "SUCCESS"
      }
   ]
)
print(monitor_results)
                    

以下に、JSON レスポンスの例を示します。

{
  "NextToken": "string",
  "PredictorMonitorEvaluations": [
    {
      "MonitorArn": "MonitorARN",
      "ResourceArn": "PredictorARN",
      "EvaluationTime": "2020-01-02T00:00:00Z",
      "EvaluationState": "SUCCESS",
      "WindowStartDatetime": "2019-01-01T00:00:00Z",
      "WindowEndDatetime": "2019-01-03T00:00:00Z",
      "PredictorEvent": {
        "Detail": "Retrain",
        "Datetime": "2020-01-01T00:00:00Z"
      },
      "MonitorDataSource": {
        "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
        "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
        "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
      
      },
      "MetricResults": [
        {
          "MetricName": "AverageWeightedQuantileLoss",
          "MetricValue": 0.17009070456599376
        },
        {
          "MetricName": "MAPE",
          "MetricValue": 0.250711322309796
        },
        {
          "MetricName": "MASE",
          "MetricValue": 1.6275608734888485
        },
        {
          "MetricName": "RMSE",
          "MetricValue": 3100.7125081405547
        },
        {
          "MetricName": "WAPE",
          "MetricValue": 0.17101159704738722}
      ]
    }
  ]
}