モデル品質メトリクスと Amazon CloudWatch モニタリング

モデル品質モニタリングジョブは、さまざまなメトリクスを計算して、機械学習モデルの品質とパフォーマンスを評価します。計算される特定のメトリクスは、回帰、二項分類、または多クラス分類という ML 問題のタイプによって異なります。これらのメトリクスのモニタリングは、時間の経過に伴うモデルのドリフトを検出する上で重要です。以下のセクションでは、各問題タイプの主要なモデル品質メトリクスと、 を使用してモデルのパフォーマンスを継続的に追跡 CloudWatch するための自動モニタリングとアラートを設定する方法について説明します。

注記

メトリクスの標準偏差は、200 件以上のサンプルを使用できる場合にのみ得ることができます。Model Monitor は、データの 80% を 5 回ランダムにサンプリングし、メトリクスを計算して、その結果の標準偏差を取得することで、標準偏差を計算します。

回帰メトリクス

以下は、回帰問題においてモデル品質モニタリングが計算するメトリクスの例を示しています。

"regression_metrics" : {
    "mae" : {
      "value" : 0.3711832061068702,
      "standard_deviation" : 0.0037566388129940394
    },
    "mse" : {
      "value" : 0.3711832061068702,
      "standard_deviation" : 0.0037566388129940524
    },
    "rmse" : {
      "value" : 0.609248066149471,
      "standard_deviation" : 0.003079253267651125
    },
    "r2" : {
      "value" : -1.3766111872212665,
      "standard_deviation" : 0.022653980022771227
    }
  }

バイナリ分類メトリクス

以下は、バイナリ分類問題においてモデル品質モニタリングが計算するメトリクスの例を示しています。

"binary_classification_metrics" : {
    "confusion_matrix" : {
      "0" : {
        "0" : 1,
        "1" : 2
      },
      "1" : {
        "0" : 0,
        "1" : 1
      }
    },
    "recall" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "precision" : {
      "value" : 0.3333333333333333,
      "standard_deviation" : "NaN"
    },
    "accuracy" : {
      "value" : 0.5,
      "standard_deviation" : "NaN"
    },
    "recall_best_constant_classifier" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "precision_best_constant_classifier" : {
      "value" : 0.25,
      "standard_deviation" : "NaN"
    },
    "accuracy_best_constant_classifier" : {
      "value" : 0.25,
      "standard_deviation" : "NaN"
    },
    "true_positive_rate" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "true_negative_rate" : {
      "value" : 0.33333333333333337,
      "standard_deviation" : "NaN"
    },
    "false_positive_rate" : {
      "value" : 0.6666666666666666,
      "standard_deviation" : "NaN"
    },
    "false_negative_rate" : {
      "value" : 0.0,
      "standard_deviation" : "NaN"
    },
    "receiver_operating_characteristic_curve" : {
      "false_positive_rates" : [ 0.0, 0.0, 0.0, 0.0, 0.0, 1.0 ],
      "true_positive_rates" : [ 0.0, 0.25, 0.5, 0.75, 1.0, 1.0 ]
    },
    "precision_recall_curve" : {
      "precisions" : [ 1.0, 1.0, 1.0, 1.0, 1.0 ],
      "recalls" : [ 0.0, 0.25, 0.5, 0.75, 1.0 ]
    },
    "auc" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "f0_5" : {
      "value" : 0.3846153846153846,
      "standard_deviation" : "NaN"
    },
    "f1" : {
      "value" : 0.5,
      "standard_deviation" : "NaN"
    },
    "f2" : {
      "value" : 0.7142857142857143,
      "standard_deviation" : "NaN"
    },
    "f0_5_best_constant_classifier" : {
      "value" : 0.29411764705882354,
      "standard_deviation" : "NaN"
    },
    "f1_best_constant_classifier" : {
      "value" : 0.4,
      "standard_deviation" : "NaN"
    },
    "f2_best_constant_classifier" : {
      "value" : 0.625,
      "standard_deviation" : "NaN"
    }
  }

多クラスメトリクス

以下は、複数クラス分類問題においてモデル品質モニタリングが計算するメトリクスの例を示しています。

"multiclass_classification_metrics" : {
    "confusion_matrix" : {
      "0" : {
        "0" : 1180,
        "1" : 510
      },
      "1" : {
        "0" : 268,
        "1" : 138
      }
    },
    "accuracy" : {
      "value" : 0.6288167938931297,
      "standard_deviation" : 0.00375663881299405
    },
    "weighted_recall" : {
      "value" : 0.6288167938931297,
      "standard_deviation" : 0.003756638812994008
    },
    "weighted_precision" : {
      "value" : 0.6983172269629505,
      "standard_deviation" : 0.006195912915307507
    },
    "weighted_f0_5" : {
      "value" : 0.6803947317178771,
      "standard_deviation" : 0.005328406973561699
    },
    "weighted_f1" : {
      "value" : 0.6571162346664904,
      "standard_deviation" : 0.004385008075019733
    },
    "weighted_f2" : {
      "value" : 0.6384024354394601,
      "standard_deviation" : 0.003867109755267757
    },
    "accuracy_best_constant_classifier" : {
      "value" : 0.19370229007633588,
      "standard_deviation" : 0.0032049848450732355
    },
    "weighted_recall_best_constant_classifier" : {
      "value" : 0.19370229007633588,
      "standard_deviation" : 0.0032049848450732355
    },
    "weighted_precision_best_constant_classifier" : {
      "value" : 0.03752057718081697,
      "standard_deviation" : 0.001241536088657851
    },
    "weighted_f0_5_best_constant_classifier" : {
      "value" : 0.04473443104152011,
      "standard_deviation" : 0.0014460485504284792
    },
    "weighted_f1_best_constant_classifier" : {
      "value" : 0.06286421244683643,
      "standard_deviation" : 0.0019113576884608862
    },
    "weighted_f2_best_constant_classifier" : {
      "value" : 0.10570313141262414,
      "standard_deviation" : 0.002734216826748117
    }
  }

を使用したモデル品質メトリクスのモニタリング CloudWatch

モニタリングスケジュールを作成するenable_cloudwatch_metricsTrueときに の値を に設定すると、モデル品質モニタリングジョブはすべてのメトリクスを に送信します CloudWatch。

モデル品質メトリクスは、次の名前空間に表示されます。

• リアルタイムエンドポイントの場合: aws/sagemaker/Endpoints/model-metrics

• バッチ変換ジョブの場合: aws/sagemaker/ModelMonitoring/model-metrics

出力されるメトリクスのリストについては、このページの前のセクションを参照してください。

特定の CloudWatch メトリクスが指定したしきい値を満たさない場合、メトリクスを使用してアラームを作成できます。 CloudWatch アラームの作成方法については、 CloudWatch ユーザーガイドの「静的しきい値に基づく CloudWatch アラームの作成」を参照してください。