Amazon SageMaker Model Monitor - Amazon SageMaker

「翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。」

Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor は、本番稼働中の Amazon SageMaker 機械学習モデルの品質を継続的に監視します。では、モデルの品質に偏差がある場合に通知するアラートを設定できます。Model Monitorこれらの偏差を早期かつプロアクティブに検出すると、モデルの再トレーニング、アップストリームシステムの監査、品質の問題の修正などの修正措置を講じることができます。手動でモデルを監視したり、追加のツールを構築したりする必要はありません。コーディングを必要としない Model Monitor の事前構築済みのモニタリング機能を使用できます。また、カスタム分析を提供するコーディングによってモデルを柔軟に監視できます。

Model Monitor では、以下のタイプのモニタリングが可能です。

Model Monitor の詳細

Amazon SageMaker Model Monitor は、本番稼働中の機械学習 (ML) モデルを自動的に監視し、品質の問題が発生したときに通知します。Model Monitor は、ルールを使用してモデルのドリフトを検出し、発生時に警告します。次の図は、このプロセスの仕組みを示しています。


                を使用したモデルのモニタリングプロセス。Amazon SageMaker Model Monitor

モデルのモニタリングを有効にするには、以下のステップを実行します。これらのステップは、さまざまなデータ収集、モニタリング、および分析プロセスを通じてデータの経路をたどります。

  • エンドポイントで、受信リクエストからトレーニング済み ML モデルに送られたデータ、および結果として得られたモデル予測をキャプチャできるようにします。

  • モデルのトレーニングに使用されたデータセットからベースラインを作成します。ベースラインは、メトリクスを計算し、メトリクスの制約を提案します。モデルからのリアルタイム予測は制約と比較され、制約値の外にある場合は違反として報告されます。

  • 収集するデータ、収集する頻度、分析方法、作成するレポートを指定するモニタリングスケジュールを作成します。

  • レポートを調べて最新のデータとベースラインを比較し、報告された違反や、Amazon CloudWatch からのメトリクス、通知を監視します。

Notes
  • Model Monitor は現在、単一のモデルをホストするエンドポイントのみをサポートしており、マルチモデルエンドポイントのモニタリングはサポートしていません。マルチモデルエンドポイントの使用方法については、「 マルチモデルエンドポイント で複数のモデルをホストする」を参照してください。

  • Model Monitor は推論パイプラインのモニタリングをサポートしていますが、データのキャプチャと分析は、パイプライン内の個々のコンテナに対してではなく、パイプライン全体に対して行われます。

  • カスタム SageMaker で Amazon VPC Studio を起動する場合、Model Monitor が Amazon S3 および CloudWatch と通信できるように VPC エンドポイントを作成する必要があります。VPC エンドポイントの詳細については、https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints.html ユーザーガイドの「Amazon Virtual Private CloudVPC エンドポイント」を参照してください。カスタム VPC での SageMaker Studio の起動については、「Studio ノートブックを VPC 内のリソースに接続するSageMaker」を参照してください。

Model Monitor サンプルノートブック

Model Monitor のエンドツーエンドのワークフローをすべて実行できるサンプルノートブックについては、「Introduction to Amazon SageMaker Model Monitor」を参照してください。

既存のエンドポイントのモデルモニタリングエクスペリエンスを有効にするサンプルノートブックについては、「Enable Model Monitoring」を参照してください。

モニタリングスケジュールで選択した実行の statistics.json ファイルを視覚化するサンプルノートブックについては、「Model Monitor Visualization」を参照してください。

でサンプルを実行するために使用できる Jupyter ノートブックインスタンスを作成してアクセスする方法を示す手順については、「SageMaker」を参照してください。Amazon SageMaker ノートブックインスタンスの使用ノートブックインスタンスを作成して開いた後、[ の例SageMaker] タブを選択して、すべての サンプルのリストを表示します。SageMakerノートブックを開くには、ノートブックの [使用] タブを選択し、[コピーを作成] を選択します。