分析で高度なメトリクスを使用する

次のセクションでは、Amazon SageMaker Canvas でモデルの高度なメトリクスを検索して解釈する方法について説明します。

注記

高度なメトリクスは現在、数値予測モデルとカテゴリ予測モデルでのみ使用できます。

高度なメトリクスタブを検索するには、次の手順を実行します。

1. Canvas SageMaker アプリケーションを開きます。

2. 左側のナビゲーションペインで [自分のモデル] を選択します。

3. 構築したモデルを選択します。

4. ナビゲーションペインで、[分析] タブを選択します。

5. 分析タブで、高度なメトリクスタブを選択します。

詳細メトリクスタブには、パフォーマンスタブがあります。このページは次のスクリーンショットのようになります。

上部には、最適化メトリクス を含むメトリクススコアの概要が表示されます。これは、モデルの構築時に最適化するために選択した (または Canvas がデフォルトで選択した) メトリクスです。

以下のセクションでは、アドバンストメトリクス 内のパフォーマンスタブの詳細について説明します。

パフォーマンス

パフォーマンスタブには、メトリクステーブル と、Canvas がモデルタイプに基づいて作成するビジュアライゼーションが表示されます。カテゴリ予測モデルの場合、Canvas は混同行列 を提供しますが、数値予測モデルの場合、Canvas は残差とエラー密度グラフを提供します。

メトリクステーブル には、各アドバンストメトリクスのモデルのスコアの完全なリストが表示されます。これは、ページ上部のスコアの概要よりも包括的です。ここに表示されるメトリクスは、モデルタイプによって異なります。各メトリクスの理解と解釈に役立つリファレンスについては、「」を参照してくださいメトリクスリファレンス。

モデルタイプに基づいて表示される可能性のある視覚化を理解するには、次のオプションを参照してください。

• 混同行列 – Canvas は混同行列を使用して、モデルが正しく予測を行うタイミングを視覚化するのに役立ちます。混同行列では、予測値を実際の値と比較して結果を表示します。次の例は、ポジティブラベルとネガティブラベルを予測する 2 カテゴリ予測モデルで混同行列がどのように機能するかを説明しています。

  • 真陽性 — 真のラベルが陽性の場合、モデルは陽性を正しく予測しました。

  • 真陰性 — 真のラベルが陰性の場合、モデルは陰性を正しく予測しました。

  • 偽陽性 — 真のラベルが陰性の場合、モデルは陽性を誤って予測しました。

  • 偽陰性 — 真のラベルが陽性の場合、モデルは陰性を誤って予測しました。

• 精度再現率曲線 – 精度再現率曲線は、モデルの再現率スコアに対してプロットされたモデルの精度スコアの視覚化です。一般に、完全な予測を実行できるモデルの精度と再現率の両方のスコアは 1 になります。かなり正確なモデルの精度再現率曲線は、精度と再現率の両方でかなり高いです。

• 残差 — 残差は、実際の値とモデルによって予測された値の差です。残差グラフは、残差を対応する値に対してプロットして、分布とパターンまたは外れ値を視覚化します。ゼロ前後の残差の正規分布は、モデルがデータに適していることを示します。ただし、残差が大幅に歪んでいるか、外れ値がある場合は、モデルがデータに過剰適合しているか、対処する必要がある他の問題があることを示している可能性があります。

• エラー密度 – エラー密度プロットは、モデルによって行われたエラーの分布を表します。これは、各ポイントでのエラーの確率密度を示し、モデルが過剰適合している、または体系的なエラーを行っている可能性のある領域を特定するのに役立ちます。