モデルのパフォーマンスを評価する

Amazon Canvas SageMaker は、さまざまなタイプのモデルの概要とスコアリング情報を提供します。モデルのスコアは、予測を行う際のモデルの精度を判断するのに役立ちます。スコアに関するその他のインサイトは、実際の値と予測値の違いを定量化するのに役立ちます。

モデルの分析結果を表示するには、次の手順に従います。

1. Canvas SageMaker アプリケーションを開きます。

2. 左側のナビゲーションペインで [自分のモデル] を選択します。

3. 構築したモデルを選択します。

4. ナビゲーションペインで、[分析] タブを選択します。

5. [分析] タブには、モデルの概要とスコアリング情報が表示されます。

以下のセクションでは、モデルタイプに応じてスコアリングを評価する方法について説明します。

カテゴリ予測モデルの評価

[概要] タブには、各列の列の影響が表示されます。[Column impact] (列の影響) は、ある列が他の列と比較して、予測を行う上でどれだけの重みを持っているかを示すパーセンテージスコアです。列の影響が 25% である場合、Canvas はその列の予測に 25% の重みを付け、その他の列には 75% の重みを付けます。

次のスクリーンショットは、モデルの [精度] スコアと、モデルの構築時に最適化のメトリクスとして選択する [最適化メトリクス] を示しています。この場合、最適化メトリクスは精度 です。モデルの新しいバージョンを構築する場合は、別の最適化メトリクスを指定できます。

カテゴリ予測モデルの [スコアリング] タブでは、すべての予測を視覚化できます。線分はページの左から伸びており、モデルによって行われたすべての予測を示します。ページの中央では、線分が垂直セグメントに収束し、1 つのカテゴリに対する各予測の比率を示します。予測されたカテゴリから、線分は実際のカテゴリに分岐します。予測されたカテゴリから実際のカテゴリまでの各線分をたどれば、予測の正確さを視覚的に把握できます。

以下の図は、[3+ カテゴリ予測] モデルの [スコアリング] セクションの例です。

高度なメトリクス、エラー密度プロット、混同行列など、モデルのパフォーマンスに関する詳細情報については、高度なメトリクスタブを表示することもできます。高度なメトリクスタブの詳細については、「」を参照してください分析で高度なメトリクスを使用する。

数値予測モデルの評価

[概要] タブには、各列の列の影響が表示されます。[Column impact] (列の影響) は、ある列が他の列と比較して、予測を行う上でどれだけの重みを持っているかを示すパーセンテージスコアです。列の影響が 25% である場合、Canvas はその列の予測に 25% の重みを付け、その他の列には 75% の重みを付けます。

次のスクリーンショットは、[概要] タブのモデルの [RMSE] スコアを示しています (この場合は [最適化メトリクス])。[最適化メトリクス] は、モデルを構築する際の最適化のために選択するメトリクスです。モデルの新しいバージョンを構築する場合は、別の最適化メトリクスを指定できます。

数値予測の [スコアリング] タブには、予測に使用されたデータに対するモデルの予測値を示す線が表示されます。数値予測の値は、多くの場合、RMSE (二乗平均平方根誤差) の +/- 値になります。多くの場合、モデルが予測する値は RMSE の範囲内の値になります。線分の周りの紫色の帯の幅は、RMSE の範囲を示します。多くの場合、予測値は範囲内に収まります。

以下の画像は、数値予測の [Scoring] (スコアリング) セクションを示します。

高度なメトリクス、エラー密度プロット、混同行列など、モデルのパフォーマンスに関する詳細情報については、高度なメトリクスタブを表示することもできます。高度なメトリクスタブの詳細については、「」を参照してください分析で高度なメトリクスを使用する。

時系列予測モデルの評価

時系列予測モデルの [分析] ページでは、モデルのメトリクスの概要を確認できます。各メトリクスにカーソルを合わせると詳細が表示され、分析で高度なメトリクスを使用する 表示することもできます。

[列の影響] セクションでは、各列のスコアを確認できます。[Column impact] (列の影響) は、ある列が他の列と比較して、予測を行う上でどれだけの重みを持っているかを示すパーセンテージスコアです。列の影響が 25% である場合、Canvas はその列の予測に 25% の重みを付け、その他の列には 75% の重みを付けます。

次のスクリーンショットは、モデルの時系列メトリクススコアと、モデルの構築時に最適化のメトリクスとして選択する [最適化メトリクス] を示しています。このケースの [最適化メトリクス] は RMSE です。モデルの新しいバージョンを構築する場合は、別の最適化メトリクスを指定できます。

画像予測モデルの評価

[概要] タブには、[ラベルごとのパフォーマンス] が表示され、各ラベルで予測された画像の全体的な精度スコアがわかります。ラベルを選択すると、そのラベルの [正しく予測された] 画像や [正しく予測されなかった] 画像など、より具体的な詳細を確認できます。

[ヒートマップ] トグルをオンにすると、各画像のヒートマップが表示されます。ヒートマップには、モデルが予測を行う際に最も影響の大きい関心領域が表示されます。ヒートマップの詳細と、ヒートマップを使用してモデルを改善する方法については、[ヒートマップ] トグルの横にある [詳細] アイコンを選択してください。

単一ラベルの画像予測モデルの [スコアリング] タブには、モデルが予測したラベルと、実際のラベルとの比較が表示されます。一度に最大 10 件を選択できます。視覚化内のラベルを変更するには、ラベルドロップダウンメニューを選択して、ラベルを選択または選択解除します。

[モデル精度のインサイト] セクションの [スコアの表示対象] ドロップダウンメニューを選択すると、精度が最も高い、または最も低い 3 つのラベルなど、個々のラベルまたはラベルグループのインサイトを表示することもできます。

次のスクリーンショットは、単一ラベルの画像予測モデルの [スコアリング] 情報を示しています。

テキスト予測モデルの評価

[概要] タブには、[ラベルごとのパフォーマンス] が表示され、各ラベルで予測されたテキストの全体的な精度スコアがわかります。ラベルを選択すると、そのラベルの [正しく予測された] テキストや [正しく予測されなかった] テキストなど、より具体的な詳細を確認できます。

マルチカテゴリテキスト予測モデルの [スコアリング] タブには、モデルが予測したラベルと、実際のラベルとの比較が表示されます。

[モデル精度のインサイト] セクションには、[最も頻度の高いカテゴリ] が表示されます。これにより、モデルが最も頻繁に予測したカテゴリと、それらの予測の精度がわかります。モデルが [ポジティブ] のラベルを 99% 正確に予測できれば、そのモデルはテキスト内のポジティブなセンチメントを予測するのに十分優れていると言えます。

次のスクリーンショットは、マルチカテゴリテキスト予測モデルの [スコアリング] 情報を示しています。