Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor は、本番稼働中の Amazon SageMaker 機械学習モデルの品質を継続的に監視します。では、モデルの品質に偏差がある場合に通知するアラートを設定できます。Model Monitorこれらの偏差を早期かつプロアクティブに検出すると、モデルの再トレーニング、アップストリームシステムの監査、品質の問題の修正などの修正措置を講じることができます。手動でモデルを監視したり、追加のツールを構築したりする必要はありません。コーディングを必要としない Model Monitor の事前構築済みのモニタリング機能を使用できます。また、カスタム分析を提供するコーディングによってモデルを柔軟に監視できます。

Model Monitor では、以下のタイプのモニタリングが可能です。

• データ品質のモニタリング - データ品質のドリフトをモニタリングします。

• モデル品質のモニタリング - 精度など、モデル品質メトリクスのドリフトをモニタリングします。

• 本番稼働中のモデルのバイアスドリフトを監視する - モデルの予測のバイアスをモニタリングします。

• 本番環境のモデルの 機能属性ドリフトをモニタリングする - 機能帰属のドリフトをモニタリングします。

トピック

• Model Monitor の詳細
• データ品質のモニタリング
• モデル品質のモニタリング
• 本番稼働中のモデルのバイアスドリフトを監視する
• 本番環境のモデルの 機能属性ドリフトをモニタリングする
• データのキャプチャ
• モニタリングジョブのスケジュール
• Amazon SageMaker Model Monitor のビルド済みコンテナ
• 結果の解釈
• Amazon SageMaker Studio で結果を視覚化する
• 高度なトピック

Model Monitor の詳細

Amazon SageMaker Model Monitor は、本番稼働中の機械学習 (ML) モデルを自動的に監視し、品質の問題が発生したときに通知します。Model Monitor は、ルールを使用してモデルのドリフトを検出し、発生時に警告します。次の図は、このプロセスの仕組みを示しています。

モデルのモニタリングを有効にするには、以下のステップを実行します。これらのステップは、さまざまなデータ収集、モニタリング、および分析プロセスを通じてデータの経路をたどります。

• エンドポイントで、受信リクエストからトレーニング済み ML モデルに送られたデータ、および結果として得られたモデル予測をキャプチャできるようにします。

• モデルのトレーニングに使用されたデータセットからベースラインを作成します。ベースラインは、メトリクスを計算し、メトリクスの制約を提案します。モデルからのリアルタイム予測は制約と比較され、制約値の外にある場合は違反として報告されます。

• 収集するデータ、収集する頻度、分析方法、作成するレポートを指定するモニタリングスケジュールを作成します。

• レポートを調べて最新のデータとベースラインを比較し、報告された違反や、Amazon CloudWatch からのメトリクス、通知を監視します。

Notes

• Model Monitor は現在、単一のモデルをホストするエンドポイントのみをサポートしており、マルチモデルエンドポイントのモニタリングはサポートしていません。マルチモデルエンドポイントの使用方法については、「 マルチモデルエンドポイント で複数のモデルをホストする」を参照してください。

• Model Monitor は推論パイプラインのモニタリングをサポートしていますが、データのキャプチャと分析は、パイプライン内の個々のコンテナに対してではなく、パイプライン全体に対して行われます。

• カスタム SageMaker で Amazon VPC Studio を起動する場合、Model Monitor が Amazon S3 および CloudWatch と通信できるように VPC エンドポイントを作成する必要があります。VPC エンドポイントの詳細については、https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints.html ユーザーガイドの「Amazon Virtual Private CloudVPC エンドポイント」を参照してください。カスタム VPC での SageMaker Studio の起動については、「Studio ノートブックを VPC 内のリソースに接続するSageMaker」を参照してください。

Model Monitor サンプルノートブック

Model Monitor のエンドツーエンドのワークフローをすべて実行できるサンプルノートブックについては、「Introduction to Amazon SageMaker Model Monitor」を参照してください。

既存のエンドポイントのモデルモニタリングエクスペリエンスを有効にするサンプルノートブックについては、「Enable Model Monitoring」を参照してください。

モニタリングスケジュールで選択した実行の statistics.json ファイルを視覚化するサンプルノートブックについては、「Model Monitor Visualization」を参照してください。

でサンプルを実行するために使用できる Jupyter ノートブックインスタンスを作成してアクセスする方法を示す手順については、「SageMaker」を参照してください。Amazon SageMaker ノートブックインスタンスの使用ノートブックインスタンスを作成して開いた後、[ の例SageMaker] タブを選択して、すべての サンプルのリストを表示します。SageMakerノートブックを開くには、ノートブックの [使用] タブを選択し、[コピーを作成] を選択します。