Melihat Hasil

Setelah Anda menghasilkan perkiraan dan kemudian mengimpor lebih banyak data, Anda dapat melihat hasil pemantauan prediktor. Anda dapat melihat visualisasi hasil dengan konsol Forecast atau Anda dapat secara terprogram mengambil hasil denganListMonitorEvaluationsoperasi.

Konsol Forecast menampilkan grafik hasil untuk masing-masingmetrik prediktor. Grafik mencakup bagaimana setiap metrik telah berubah selama masa prediktor dan prediktor peristiwa, seperti pelatihan ulang.

ParameterListMonitorEvaluationsoperasi mengembalikan hasil metrik dan peristiwa prediktor untuk jendela yang berbeda waktu.

Console

Untuk melihat hasil pemantauan prediktor

1. Masuk keAWS Management Consoledan buka konsol Amazon Forecast dihttps://console.aws.amazon.com/forecast/.

2. FromKelompok basis data, pilih grup dataset Anda.

3. Di panel navigasi, pilihPrediktor.

4. Pilih prediktor dan pilihPemantauantab.

   • ParameterHasil pemantauanbagian menunjukkan bagaimana metrik akurasi yang berbeda telah berubah dari waktu ke waktu. Gunakan daftar dropdown untuk mengubah metrik trek grafik.

   • ParameterRiwayat pemantauanbagian daftar rincian untuk peristiwa yang berbeda dilacak dalam hasil.

   Berikut ini adalah contoh grafik tentang caraAvg wQLSkor untuk prediktor telah berubah dari waktu ke waktu. Dalam grafik ini, perhatikan bahwaAvg wQLmeningkat dari waktu ke waktu. Peningkatan ini menunjukkan bahwa akurasi prediktor menurun. Gunakan informasi ini untuk menentukan apakah Anda perlu memvalidasi ulang model dan mengambil tindakan.

   

SDK for Python (Boto3)

Untuk mendapatkan hasil pemantauan dengan SDK for Python (Boto3), gunakanlist_monitor_evaluationsmetode. Berikan Amazon Resource Name (ARN) monitor, dan tentukan jumlah maksimum hasil yang akan diambil denganMaxResultsparameter. Opsional menentukanFilteruntuk menyaring hasil. Anda dapat memfilter evaluasi denganEvaluationStatedari salah satuSUCCESSatauFAILURE. Kode berikut mendapat maksimal 20 evaluasi pemantauan sukses.

import boto3
                            
forecast = boto3.client('forecast')

monitor_results = forecast.list_monitor_evaluations(
    MonitorArn = 'monitor_arn',
    MaxResults = 20,
    Filters = [ 
      { 
         "Condition": "IS",
         "Key": "EvaluationState",
         "Value": "SUCCESS"
      }
   ]
)
print(monitor_results)
                    

Berikut ini adalah contoh respons JSON.

{
  "NextToken": "string",
  "PredictorMonitorEvaluations": [
    {
      "MonitorArn": "MonitorARN",
      "ResourceArn": "PredictorARN",
      "EvaluationTime": "2020-01-02T00:00:00Z",
      "EvaluationState": "SUCCESS",
      "WindowStartDatetime": "2019-01-01T00:00:00Z",
      "WindowEndDatetime": "2019-01-03T00:00:00Z",
      "PredictorEvent": {
        "Detail": "Retrain",
        "Datetime": "2020-01-01T00:00:00Z"
      },
      "MonitorDataSource": {
        "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
        "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
        "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
      
      },
      "MetricResults": [
        {
          "MetricName": "AverageWeightedQuantileLoss",
          "MetricValue": 0.17009070456599376
        },
        {
          "MetricName": "MAPE",
          "MetricValue": 0.250711322309796
        },
        {
          "MetricName": "MASE",
          "MetricValue": 1.6275608734888485
        },
        {
          "MetricName": "RMSE",
          "MetricValue": 3100.7125081405547
        },
        {
          "MetricName": "WAPE",
          "MetricValue": 0.17101159704738722}
      ]
    }
  ]
}