모니터링 결과 보기 - Amazon Forecast

신규 고객은 더 이상 Amazon Forecast를 사용할 수 없습니다. Amazon Forecast의 기존 고객은 서비스를 정상적으로 계속 사용할 수 있습니다. 자세히 알아보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모니터링 결과 보기

예측을 생성한 다음 추가 데이터를 가져오면 예측기 모니터링의 결과를 볼 수 있습니다. Forecast 콘솔에서 결과의 시각화를 보거나 ListMonitorEvaluations 작업을 통해 프로그래밍 방식으로 결과를 검색할 수 있습니다.

Forecast 콘솔은 각 예측기 지표의 결과 그래프를 표시합니다. 그래프에는 예측기와 예측기 이벤트(예: 재훈련)의 수명 주기 동안 각 지표가 어떻게 변했는지가 포함됩니다.

ListMonitorEvaluations 작업은 다양한 기간의 지표 결과와 예측기 이벤트를 반환합니다.

Console
예측기 모니터링 결과를 보려면
  1. AWS Management Console에 로그인하고 https://console.aws.amazon.com/forecast/에서 Amazon Forecast 콘솔을 엽니다.

  2. 데이터 세트 그룹에서 데이터 세트 그룹을 선택합니다.

  3. 탐색 창에서 예측기를 선택합니다.

  4. 예측기를 선택하고 모니터링 탭을 선택합니다.

    • 모니터링 결과 섹션은 시간 경과에 따른 다양한 정확도 지표가 어떻게 변했는지 보여줍니다. 드롭다운 목록을 사용하여 그래프가 추적하는 지표를 변경할 수 있습니다.

    • 모니터링 기록 섹션에는 결과에서 추적된 다양한 이벤트의 세부 정보가 나열됩니다.

    다음은 시간 경과에 따른 예측기 Avg wQL 점수의 변화를 보여주는 그래프의 예입니다. 이 그래프에서 Avg wQL 값이 시간이 지남에 따라 증가하고 있음을 알 수 있습니다. 이 증가는 예측기 정확도가 감소하고 있음을 나타냅니다. 이 정보를 사용하여 모델을 재검증하고 조치를 취해야 하는지 여부를 결정하세요.

    Graph showing increasing Avg wQL score over time, indicating decreasing predictor accuracy.
SDK for Python (Boto3)

SDK for Python(Boto3)을 사용하여 모니터링 결과를 가져오려면 list_monitor_evaluations 메서드를 사용합니다. 모니터의 Amazon 리소스 이름(ARN)을 제공하고, 선택적으로 MaxResults 파라미터로 검색할 최대 결과 수를 지정합니다. 선택적으로 Filter를 지정하여 결과를 필터링할 수 있습니다. SUCCESS 또는 FAILUREEvaluationState를 기준으로 평가를 필터링할 수 있습니다. 다음 코드는 최대 20개의 성공적 모니터링 평가를 가져옵니다.

import boto3 forecast = boto3.client('forecast') monitor_results = forecast.list_monitor_evaluations( MonitorArn = 'monitor_arn', MaxResults = 20, Filters = [ { "Condition": "IS", "Key": "EvaluationState", "Value": "SUCCESS" } ] ) print(monitor_results)

다음은 JSON 응답의 예입니다.

{ "NextToken": "string", "PredictorMonitorEvaluations": [ { "MonitorArn": "MonitorARN", "ResourceArn": "PredictorARN", "EvaluationTime": "2020-01-02T00:00:00Z", "EvaluationState": "SUCCESS", "WindowStartDatetime": "2019-01-01T00:00:00Z", "WindowEndDatetime": "2019-01-03T00:00:00Z", "PredictorEvent": { "Detail": "Retrain", "Datetime": "2020-01-01T00:00:00Z" }, "MonitorDataSource": { "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*", "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*", "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*", }, "MetricResults": [ { "MetricName": "AverageWeightedQuantileLoss", "MetricValue": 0.17009070456599376 }, { "MetricName": "MAPE", "MetricValue": 0.250711322309796 }, { "MetricName": "MASE", "MetricValue": 1.6275608734888485 }, { "MetricName": "RMSE", "MetricValue": 3100.7125081405547 }, { "MetricName": "WAPE", "MetricValue": 0.17101159704738722} ] } ] }