ステップ 4: ML モデルの予測パフォーマンスを確認し、スコアのしきい値を設定する - Amazon Machine Learning

Amazon Machine Learning サービスの更新や、その新しいユーザーの受け入れは行っていません。このドキュメントは既存のユーザー向けに提供されていますが、更新は終了しています。詳細については、「Amazon Machine Learning とは」を参照してください。

ステップ 4: ML モデルの予測パフォーマンスを確認し、スコアのしきい値を設定する

ML モデルを作成し、Amazon Machine Learning (Amazon ML) によって評価したので、実際に使用できるかどうか見てみましょう。評価中、Amazon ML は、ML モデルのパフォーマンス品質を表現する曲線下面積 (AUC) メトリクスと呼ばれる業界標準の品質メトリクスを計算しました。また、Amazon ML は AUC メトリクスを解釈して、ML モデルの品質がほとんどの機械学習アプリケーションに適しているかどうかを知らせます。(AUC の詳細については、ML モデルの正確性の測定 を参照してください。) AUC メトリクスを確認した後、スコアのしきい値やカットオフを調整して、モデルの予測パフォーマンスを最適化しましょう。

ML モデルの AUC メトリクスを確認するには

  1. [ML モデルの要約] ページの [ML モデルレポート] ナビゲーションペインで、[評価]、[Evaluation: ML model: Banking model 1 (評価: ML モデル: 銀行モデル 1)]、[概要] の順に選択します。

  2. [評価の概要] ページで、モデルの AUC パフォーマンスメトリクスを含め、評価の概要を確認します。

ML モデルは、予測データソース内の各レコードの数値予測スコアを生成し、しきい値を適用して 0 (いいえの場合) または 1 (はいの場合) のバイナリラベルに変換します。スコアのしきい値を変更することで、ML モデルがこれらのラベルをどのように割り当てるかを調整できます。ここで、スコアしきい値を設定します。

ML モデルのスコアのしきい値を設定するには

  1. [評価の概要] ページで、[スコアしきい値を調整] を選択します。

    スコアしきい値を調整することで ML モデルのパフォーマンスメトリクスを微調整できます。この値を調整すると、予測が正しいとみなされる前に、モデルが予測に対して持つ必要のある信頼度が変わります。また、予測で許容する誤検出および検出漏れの数が変更されます。

    正しい検出である可能性が最も高い予測が正しいとみなされるまでスコアのしきい値を上げることによって、モデルが正しい予測とみなすもののカットオフを制御できます。また、検出漏れがなくなるまでスコアのしきい値を減らすこともできます。ビジネスのニーズに応じて、カットオフを選択します。このチュートリアルでは、誤検出の場合はキャンペーン費用がかかるため、誤検出よりも正しい検出の割合を高くします。

  2. たとえば、商品をサブスクライブする顧客の上位 3% をターゲットに設定するとします。垂直セレクタをスライドさせて、スコアのしきい値が [3% of the records are predicted as "1" ("1" と予測されるコードの 3%)] になるよう設定します。

    このスコアのしきい値が ML モデルのパフォーマンスに及ぼす影響に注意してください。誤検出率は 0.007 です。この誤検出率は許容できるとします。

  3. [Save score threshold at 0.77 (スコアのしきい値を 0.77 で保存)] を選択します。

この ML モデルを使用して予測を行うたびに、0.77 を超えるレコードは「1」、残りのレコードは「0」と予測されます。

スコアのしきい値の詳細については、バイナリの分類 を参照してください。

これで、モデルを使用して予測を作成する準備ができました。