バイナリモデルインサイト

予測の解釈

多くのバイナリ分類アルゴリズムの実際の出力は予測スコアです。スコアは、指定された観測が正のクラスに属しているというシステムの確実性を示します (実際のターゲット値は 1)。Amazon ML バイナリ分類モデルは、0 から 1 の範囲のスコアを出力します。このスコアのコンシューマーとして、観察を 1 または 0 に分類するかどうかを決定するには、分類しきい値を選択してスコアを解釈するか、カットオフして、それに対するスコアを比較します。カットオフよりも高いスコアを持つ監視はターゲット = 1 として予測されます。カットオフより低いスコアを持つ監視はターゲット = 0 として予測されます。

Amazon ML でのデフォルトのスコアカットオフは 0.5 です。このカットオフをビジネスニーズに合わせて更新することができます。コンソールの可視化を使用して、カットオフの選択がアプリケーションにどのように影響するかを理解することができます。

ML モデルの正確性の測定

Amazon ML は、(Receiver Operating Characteristic) 曲線下面積 (AUC) と呼ばれるバイナリ分類モデルの業界標準の正確性メトリクスを提供します。AUC は、モデルの能力を測定して、正の例についてより高いスコアを予測し負の例と比較します。スコアカットオフから独立しているため、しきい値を選択せずに AUC メトリクスからモデルの予測精度を知ることができます。

AUC のメトリクスは 0 から 1 の 10 進値を返します。1 に近い AUC 値は、極めて正確な ML モデルであることを示します。0.5 付近の値は、機械学習モデルがランダムな推測を上回っていないことを示します。0 に近い値は一般的ではありません。通常、データに問題があることを示します。基本的に、0 に近い AUC は、ML モデルが正しいパターンを学習したが、現実から反転された予測を行うためにそれらを使用していることを示しています (0 は 1 と予測され、逆も同様)。AUC の詳細については、Wikipedia の「Receiver operating characteristic」のページを参照してください。

バイナリモデルのベースライン AUC メトリクスは 0.5 です。これは 1 または 0 の答えをランダムに予測する仮想 ML モデルの値です。バイナリ ML モデルが価値あるものになるためには、パフォーマンスはこの値よりも優れている必要があります。

パフォーマンスの可視化の使用

ML モデルの正確性を調べるには、Amazon ML コンソールの [Evaluation] (評価) ページのグラフを参照してください。このページには、a) 実際の正 (ターゲットは 1) のスコアのヒストグラムと、b) 評価データの実際の負 (ターゲットは 0) のスコアのヒストグラムの 2 つのヒストグラムが表示されます。

予測精度が良好な ML モデルは、実際の 1 に高いスコアを、実際の 0 に低いスコアを予測します。完全なモデルは、x 軸の 2 つの異なる端に 2 つのヒストグラムを持ち、実際の正がすべて高い得点を示し、実際の負がすべて低い得点を示します。しかし、ML モデルは間違いを引き起こし、典型的なグラフは、2 つのヒストグラムが特定のスコアで重なっていることを示します。極端にパフォーマンスの低いモデルでは、正と負のクラスを区別できず、どちらのクラスもほとんど重複するヒストグラムとなります。

可視化を使用すると、2 つのタイプの正しい予測と 2 つのタイプの誤った予測に分類される予測の数を特定できます。

正しい予測

• 正しい検出 (TP) : Amazon ML はその値を 1 と予測し、真の値は 1 です。

• 正しい非検出 (TN) : Amazon ML はその値を 0 と予測し、真の値は 0 です。

誤った予測

• 誤検出 (FP) : Amazon ML はその値を 1 と予測しますが、真の値は 0 です。

• 検出漏れ (FN) : Amazon ML はその値を 0 と予測しますが、真の値は 1 です。

注記

TP、TN、FP、および FN の数は、選択したスコアのしきい値に依存し、これらの数値のいずれかを最適化することは、他のスコアとのトレードオフを意味します。高い数の TP は通常、高い FP 数および低い数の TN となります。

スコアカットオフの調整

ML モデルは、数値予測スコアを生成し、これらのスコアをバイナリ 0/1 ラベルに変換するカットオフを適用することによって機能します。スコアのカットオフを変更することで、失敗したときにモデルの動作を調整できます。Amazon ML コンソールの [Evaluation] (評価) ページでは、さまざまなスコアカットオフの影響を確認し、モデルに使用するスコアカットオフを保存できます。

スコアのカットオフしきい値を調整するときは、2 種類のエラーのトレードオフを確認します。カットオフを左に移動すると、より正しい検出が得られますが、誤検出エラーの数が増加する可能性もあります。右に移動すると誤検出エラーは少なくなりますが、正しい検出を見逃す可能性があります。予測アプリケーションでは、適切なカットオフのスコアを選択することで、どのような種類のエラーがより許容できるかを判断します。

高度なメトリクスの確認

Amazon ML は、ML モデルの予測精度 (正確性、精度、リコール、および誤検出率) を測定するために、以下の追加のメトリクスを提供します。

Accuracy

Accuracy (ACC) は正しい予測の割合を測定します。範囲は 0～1 です。値が大きいほど予測精度が良いことを示します。

精度

Precision は、正と予測されるこれらの例の中で実際の正の割合を測定します。範囲は 0～1 です。値が大きいほど予測精度が良いことを示します。

リコール

Recall は、正と予測される実際の正の割合を測定します。範囲は 0～1 です。値が大きいほど予測精度が良いことを示します。

誤検出率

誤検出率 (FPR) は、誤ったアラームの割合または正と予測された実際の負の割合を測定します。範囲は 0～1 です。値が小さいほど予測精度が良いことを示します。

ビジネス上の問題によっては、これらのメトリクスの特定のサブセットでうまくいくモデルにもっと興味があるかもしれません。たとえば、2 つのビジネスアプリケーションで、ML モデルの要件が非常に異なる場合があります。

• 一方のアプリケーションでは、正の予測が実際に正 (高精度) であると確認し、いくつかの正な例を負 (中程度のリコール) として誤分類する可能性があります。

• 別のアプリケーションでは、可能な限り多くの正の例を正しく予測する必要があるかもしれないため (高いリコール)、正として間違って分類されるいくつかの負の例を受け入れます (中程度の精度)。

Amazon ML では、先行するいずれかの高度なメトリクスの特定の値に対応するスコアのカットオフを選択できます。また、1 つのメトリクスを最適化する際に生じるトレードオフも示しています。たとえば、高精度に対応するカットオフを選択した場合、通常、それをより低いリコールでトレードオフする必要があります。

注記

将来の予測を ML モデルで分類するには、スコアカットオフを保存する必要があります。