モデル品質をモニタリングする

モデル品質のモニタリングジョブは、モデルによる予測と、モデルが予測しようとする実際の Ground Truth ラベルを比較して、モデルのパフォーマンスをモニタリングします。これを行うために、モデル品質モニタリングは、リアルタイム推論またはバッチ推論からキャプチャしたデータを Amazon S3 バケットに保存されている実際のラベルとマージしてから、予測を実際のラベルと比較します。

Model Monitor は、モデルの品質の測定に機械学習問題のタイプに応じてさまざまなメトリクスを使用します。例えば、モデルが回帰問題の場合、評価される指標の 1 つは平均二乗誤差 (mse) です。さまざまな機械学習問題タイプで使用されるすべてのメトリクスについては、「モデル品質のメトリクス」を参照してください。

モデル品質モニタリングではデータ品質モニタリングと同じステップを実行しますが、Amazon S3 からの実際のラベルをリアルタイム推論エンドポイントからまたはバッチ変換ジョブから取得した予測とマージするというステップが追加されています。データ品質をモニタリングするには、次のステップを実行します。

• データキャプチャを有効にします。データキャプチャは、リアルタイム推論エンドポイントまたはバッチ変換ジョブからの推論の入出力をキャプチャするか、データを Amazon S3 に保存します。詳細については、「データキャプチャ」を参照してください。

• ベースラインを作成します。このステップでは、モデルによる予測をベースラインデータセット内の Ground Truth ラベルと比較するベースラインジョブを実行します。ベースラインジョブは、ベースラインとなるしきい値を定義する統計ルールと制約を自動的に作成し、これらと比較してモデルのパフォーマンスを評価します。詳細については、「モデル品質のベースラインを作成する」を参照してください。

• モデル品質モニタリングジョブを定義し、スケジュールします。モデル品質モニタリングジョブの具体的な情報とコードサンプルについては、「モデル品質モニタリングジョブをスケジュールする」を参照してください。モニタリングジョブの一般的な情報については、「モニタリングジョブのスケジューリング」を参照してください。

• Ground Truth ラベルを取り込みます。Model Monitor はこれをリアルタイム推論エンドポイントまたはバッチ変換ジョブから取得した予測データとマージします。詳細については、「正解ラベルを取り込み、予測とマージする」を参照してください。

• モデル品質モニタリングを Amazon CloudWatch と統合します。詳細については、「 CloudWatch モデル品質メトリクス」を参照してください。

• モニタリングジョブの結果を解釈します。詳細については、「結果の解釈」を参照してください。

• SageMaker Studio を使用してモデル品質モニタリングを有効にし、結果を視覚化します。詳細については、「Amazon Studio でリアルタイムエンドポイントの結果を視覚化 SageMaker 」を参照してください。

トピック

• モデル品質のベースラインを作成する
• モデル品質モニタリングジョブをスケジュールする
• 正解ラベルを取り込み、予測とマージする
• モデル品質のメトリクス
• CloudWatch モデル品質メトリクス