本番稼働用モデルのバイアスドリフト

Amazon SageMaker Clarify バイアスモニタリングは、データサイエンティストと機械学習エンジニアが予測のバイアスを定期的にモニタリングするのに役立ちます。モデルのモニタリング中は、バイアスを詳細に説明する、エクスポート可能なレポートとグラフを SageMaker Studio で表示できます。また、Amazon CloudWatch でアラートを設定して、特定のしきい値を超えるバイアスが検出された場合に通知を送信するようにできます。トレーニングデータがデプロイ中にモデルに表示されるデータ (つまり、ライブデータ) と異なる場合、デプロイされた機械学習モデルではバイアスが発生または悪化するおそれがあります。ライブデータの分布におけるこのような変化は、一時的 (原因が短期間の現実世界の出来事である場合など) または永続的である場合があります。いずれの場合も、変化を検出することが重要です。例えば、モデルトレーニングに使用された住宅ローン利率が現在の現実世界の住宅ローン利率と異なる場合、住宅価格を予測するためのモデルの出力にバイアスが生じる可能性があります。Model Monitor のバイアス検出機能を使用すると、SageMaker AI が特定のしきい値を超えるバイアスを検出すると、SageMaker Studio および Amazon CloudWatch アラートを通じて表示できるメトリクスが自動的に生成されます。

一般的に、トレーニングとデプロイの段階でのみバイアスを測定するのでは不十分です。モデルのデプロイ後、デプロイされたモデルが参照するデータ (つまり、ライブデータ) の分布がトレーニングデータセット内のデータ分布と異なる場合があるためです。この変化により、時間の経過とともにモデルにバイアスが生じる可能性があります。ライブデータの分布における変化は、一時的 (原因がホリデーシーズンなどの短期間の行動による場合など) または永続的である場合があります。いずれの場合も、これらの変化を検出し、必要に応じてバイアスを減らすための措置を講じることが重要です。

これらの変更を検出するために、SageMaker Clarify は、デプロイされたモデルのバイアスメトリクスを継続的にモニタリングし、メトリクスがしきい値を超えた場合に自動アラートを発する機能を提供します。DPPL バイアスメトリクスを例として考えてみます。値の許容範囲を指定します (A=(a_min​, a_max​))。DPPL がデプロイメント中に収まっている必要がある差は (-0.1, 0.1) などです。この範囲から逸脱した場合はバイアスの検出アラートが発生します。SageMaker Clarify を使用すると、このようなチェックを定期的に実行できます。

例えば、チェックの頻度を 2 日に設定できます。この設定では、SageMaker Clarify は 2 日間の期間中に収集されたデータに対する DPPL メトリクスを計算します。この例では、D_win はモデルが過去 2 日間の期間中に処理したデータです。DPPL 値 b_win​ が D_win​ で計算された許容範囲 A から外れた場合、アラートが発行されます。b_win が A から外れているかどうかをチェックするこのアプローチ手法は、ノイズが多くなる場合があります。D_win​ がごく少数のサンプルで構成され、ライブデータの分布を表していない場合などです。サンプルサイズが小さいと、D_win​ に基づいて計算されたバイアス b_win​ があまり堅牢な推定ではない可能性があります。実は、非常に高い (または低い) b_win の値は純粋に偶然で観測されたのかもしれません。観測されたデータ D_win から導き出された結論が統計的に有意であることを確認するために、SageMaker Clarify では信頼区間を使用しています。具体的には、正規分布ブートストラップ法を使用して区間 C=(c_min​, c_max) を構築します。このようにすることで、SageMaker Clarify は、ライブデータ全体に基づいて計算された真のバイアス値が高い確率で C に含まれていると確信を持てます。ここで、信頼区間 C が許容範囲 A と重なる場合、SageMaker Clarify は「ライブデータ分布のバイアスメトリクス値が許容範囲内にある可能性が高い」と解釈します。C と A が重ならない場合、SageMaker Clarify はバイアスメトリクスが A に含まれていないと確信し、アラートを発します。

Model Monitor のサンプルノートブック

Amazon SageMaker Clarify には、リアルタイムエンドポイントの推論データをキャプチャし、進化するバイアスをモニタリングするためのベースラインを作成し、結果を確認する方法を示す次のサンプルノートブックが用意されています。

• バイアスドリフトと特徴属性ドリフトのモニタリング (Amazon SageMaker Clarify) — Amazon SageMaker Model Monitor を使用して、バイアスドリフトと特徴属性ドリフトを経時的にモニタリングします。

このノートブックの動作確認が実施されているのは、Amazon SageMaker Studio のみです。Amazon SageMaker Studio でノートブックを開く方法の手順については、「Amazon SageMaker Studio Classic ノートブックを作成する、または開く」を参照してください。カーネルの選択を求めるメッセージが表示されたら、[Python 3 (Data Science)] (Python 3 (データサイエンス)) を選択します。次のトピックでは、最後の 2 つのステップの要点が説明されています。サンプルノートブックのコードサンプルも含まれています。

トピック

• バイアスドリフトのベースラインを作成する

• バイアスドリフト違反

• バイアスドリフトをモニタリングするためのパラメータ

• バイアスドリフトのモニタリングジョブをスケジュールする

• データのバイアスドリフトのレポートを確認する

• バイアスドリフト分析の CloudWatch メトリクス