Amazon SageMaker Model Dashboard

Amazon SageMaker Model Dashboard は、 SageMaker コンソールからアクセスできる一元化されたポータルで、アカウント内のすべてのモデルを表示、検索、探索できます。どのモデルが推論用にデプロイされているか、バッチ変換ジョブに使用されているのか、エンドポイントでホストされているのかを追跡できます。Amazon SageMaker Model Monitor でモニターを設定すると、ライブデータに対してリアルタイムの予測を行うモデルのパフォーマンスを追跡することもできます。ダッシュボードを使用して、データ品質、モデル品質、バイアス、説明可能性について設定したしきい値に違反するモデルを見つけることができます。ダッシュボードにはすべてのモニタリング結果が包括的に表示されるため、これらのメトリクスが設定されていないモデルをすばやく特定できます。

Model Dashboard は、いくつかの SageMaker 機能からモデル関連情報を集約します。Model Monitor で提供されるサービスの他に、モデルカードを表示したり、ワークフローのリネージを視覚化したり、エンドポイントのパフォーマンスを追跡したりできます。ログをソートしたり、ノートブックでクエリを実行したり、他の にアクセスしたりする必要がなくなりました。 AWS 必要なデータを収集するための サービス。一貫したユーザーエクスペリエンスと既存のサービスへの統合により、 SageMakerの Model Dashboard は、すべての out-of-the-box モデルにわたって高品質のカバレッジを確保するのに役立つモデルガバナンスソリューションを提供します。

前提条件

Model Dashboard を使用するには、アカウントに 1 つ以上のモデルが必要です。Amazon を使用してモデルをトレーニング SageMaker したり、他の場所でトレーニングしたモデルをインポートしたりできます。でモデルを作成するには SageMaker、 CreateModel を使用できますAPI。詳細については、「」を参照してくださいCreateModel。Amazon SageMaker Studio Classic など、 SageMakerが提供する ML 環境を使用することもできます。Amazon Studio Classic は、モデルトレーニングとデプロイを設定するプロジェクトテンプレートを提供します。Studio Classic の使用を開始する方法については、「Amazon SageMaker Studio Classic」を参照してください。

これは必須の前提条件ではありませんが、エンドポイントにデプロイされたモデルの SageMaker Model Monitor を使用してモデルモニタリングジョブを設定すると、ダッシュボードから最大限の価値が得られます。 SageMaker Model Monitor の使用方法に関する前提条件と手順については、「」を参照してくださいAmazon SageMaker Model Monitor でデータとモデル品質をモニタリングする。

Model Dashboard の要素

Model Dashboard ビューでは、各モデルから大まかな詳細を引き出して、アカウント内の各モデルの包括的な概要を表示します。推論目的でモデルをデプロイする場合、モデルとエンドポイントのパフォーマンスをリアルタイムで追跡するのにダッシュボードが役立ちます。

このページで強調すべき重要な詳細は次のとおりです。

• リスク評価: モデルカードにあるユーザー指定のパラメータで、[低]、[中]、[高] の値があります。モデルカードのリスク評価は、モデルの予測がビジネスに与える影響を分類して測定するものです。モデルはさまざまなビジネス用途に使用され、それぞれが異なるレベルのリスクを想定しています。例えば、サイバー攻撃を誤って検出すると、メールを誤って分類するよりもビジネスにははるかに大きな影響があります。モデルリスクがわからない場合は、[不明] に設定できます。Amazon Model Cards の詳細については、 SageMaker 「Model Cards」を参照してください。

• Model Monitor アラート: Model Monitor アラートは Model Dashboard の主な焦点であり、 が提供するさまざまなモニターに関する既存のドキュメントを確認すること SageMaker は、使用を開始するのに役立ちます。 SageMaker Model Monitor 機能とサンプルノートブックの詳細については、「」を参照してくださいAmazon SageMaker Model Monitor でデータとモデル品質をモニタリングする。

  Model Dashboard には、以下のモニタータイプ別の Model Monitor のステータス値が表示されます。

  • データ品質: ライブデータをトレーニングデータと比較します。両者が異なると、モデルの推論が正確でなくなる可能性があります。データ品質モニターの詳細については、「データ品質をモニタリングする」を参照してください。

  • モデル品質: モデルが行う予測と、モデルが予測しようとする実際の Ground Truth ラベルを比較します。モデル品質モニターの詳細については、「モデル品質をモニタリングする」を参照してください。

  • バイアスドリフト: ライブデータの分布をトレーニングデータと比較します。これによって予測が不正確になることもあります。バイアスドリフトモニターの詳細については、「本番稼働中のモデルのバイアスドリフトをモニタリングする」を参照してください。

  • 特徴量属性ドリフト: 説明可能性ドリフトとも呼ばれます。トレーニングデータ内の特徴量の相対的な順位をライブデータと比較します。これはバイアスドリフトの結果である可能性もあります。特徴量属性ドリフトモニターの詳細については、「本番稼働中のモデルの特徴属性ドリフトをモニタリングする」を参照してください。

  Model Monitor の各ステータスは、以下のいずれかの値になります。

  • なし: モニターはスケジュールされていない

  • 非アクティブ: モニターはスケジュールされていたが、非アクティブ化された

  • OK: モニターはスケジュールされていてアクティブだが、最近のモデルモニターの実行でアラートを出すのに必要な数の違反が発生していない

  • 日時: 指定された日時にアクティブなモニターがアラートを生成した

• エンドポイント: リアルタイム推論のためにモデルをホストするエンドポイント。Model Dashboard 内でエンドポイント列を選択すると、エンドポイントの CPU、GPU、ディスク、メモリ使用率などのパフォーマンスメトリクスをリアルタイムで表示し、コンピューティングインスタンスのパフォーマンスを追跡できます。

• バッチ変換ジョブ: このモデルを使用して実行された最新のバッチ変換ジョブ。この列は、モデルがバッチ推論に積極的に使用されているかどうかを判断するのに役立ちます。

• モデルの詳細: ダッシュボードの各エントリはモデルの詳細ページにリンクしており、そこで個々のモデルをより深く掘り下げることができます。モデルのリネージグラフにアクセスして、データの準備からデプロイまでのワークフローと各ステップのメタデータを視覚化できます。また、モデルカードの作成と表示、アラートの詳細と履歴の確認、リアルタイムエンドポイントのパフォーマンスの評価、その他のインフラストラクチャ関連の詳細へのアクセスも可能です。