Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor は、本番稼働中の Amazon SageMaker 機械学習モデルの品質を継続的に監視します。開発者はこれにより、データのドリフトなど、モデルの品質に偏差がある場合にアラートを設定できます。これらの偏差を早期かつプロアクティブに検出すると、モデルの再トレーニング、上流システムの監査、データ品質の問題の修正などの修正措置を講じることができます。手動でモデルを監視したり、追加のツールを構築したりする必要はありません。コーディングを必要としない Model Monitor のビルド済みモニタリング機能を使用できます。また、カスタム分析を提供するコーディングによってモデルを柔軟に監視できます。
Model Monitor の詳細
Amazon SageMaker Model Monitor は、本番稼働中の機械学習 (ML) モデルを自動的にモニタリングし、データ品質の問題が発生したときに通知します。本番稼働中の ML モデルは、実際のデータを予測する必要があります。こうしたデータは、ほとんどのトレーニングデータセットとは異なり、慎重に厳選されていません。本番稼働中にモデルが受け取るデータの統計的性質が、トレーニングに使用されたベースラインデータの性質から逸脱すると、モデルの予測精度が低下し始めます。Model Monitor では、ルールを使用してデータのドリフトを検出し、発生時に警告します。次の図は、このプロセスの仕組みを示しています。
モデルのモニタリングを有効にするには、以下のステップを実行します。これらのステップは、さまざまなデータ収集、モニタリング、および分析プロセスを通じてデータの経路をたどります。
-
データのキャプチャ: エンドポイントで、受信要求からトレーニング済み ML モデルに送られたデータ、および結果として得られたモデル予測をキャプチャできるようにします。
-
ベースラインの作成: モデルのトレーニングに使用されたデータセットからベースラインを作成します。Apache Spark に構築されたオープンソースライブラリである Deequ
を使用して、各フィーチャのベースラインスキーマの制約と統計を計算します。このライブラリは、大規模なデータセットのデータ品質を測定するために使用されます。 -
モニタリングジョブのスケジュール: 収集するデータ、収集する頻度、分析方法、作成するレポートを指定するモニタリングスケジュールを作成します。
-
結果の解釈: レポートを検査して最新のデータとベースラインを比較し、報告された違反や、Amazon CloudWatch からのメトリクス、通知を監視します。
Amazon SageMaker Model Monitor は現在、単一のモデルをホストするエンドポイントのみをサポートしており、マルチモデルエンドポイントのモニタリングはサポートしていません。マルチモデルエンドポイントの使用方法については、「 Multi-Model Endpoints で複数のモデルをホストする」を参照してください。
Amazon SageMaker Model Monitor は、推論パイプラインのモニタリングをサポートしていますが、データのキャプチャと分析は、パイプライン内の個々のコンテナではなく、パイプライン全体に対して行われます。
モデルモニターのサンプルノートブック
Model Monitor のエンドツーエンドのワークフローをすべて実行できるサンプルノートブックについては、「Introduction to Amazon SageMaker Model Monitor
既存のエンドポイントのモデルモニタリングエクスペリエンスを有効にするサンプルノートブックについては、「Enable Model Monitoring
モニタリングスケジュールで選択した実行の statistics.json ファイルを視覚化するサンプルノートブックについては、「Model Monitor Visualization
Amazon SageMaker でサンプルを実行するために使用できる Jupyter ノートブックインスタンスを作成してアクセスする方法については、Amazon SageMaker ノートブックインスタンスの使用を参照してください。ノートブックインスタンスを作成して開いたら、[SageMaker の例] タブを選択して、すべての Amazon SageMaker サンプルのリストを表示します。ノートブックを開くには、その [Use (使用)] タブを選択し、[Create copy (コピーを作成)] を選択します。
