XGBoost の仕組み

XGBoost は、勾配ブーストツリーアルゴリズムのよく知られた効率的なオープンソースの実装です。勾配ブースティングは教師あり学習アルゴリズムで、より単純で弱いモデルのセットの推定を組み合わせることで、ターゲット変数の正確な予測を試行します。

回帰に勾配ブースティングを使用すると、弱学習器が回帰ツリーになり、各回帰ツリーが、連続スコアが含まれる入力データポイントをいずれか 1 つのリーフにマッピングします。XGBoost は、モデル複雑さ (つまり回帰ツリーの関数) のために凸損失関数 (予測出力とターゲット出力の違いに基づく) とペナルティ項を組み合わせる、正規化された (L1 と L2) 目的関数を最小化します。トレーニングは反復的に進行し、前のツリーの残差やエラーを予測する新しいツリーを追加して、それを前のツリーと組み合わせることで最終的な予測を出します。これは、新しいモデルを追加するときに勾配降下アルゴリズムを使用して損失を最小限に抑えるため、勾配ブースティングと呼ばれます。

以下の図に、勾配ツリーブースティングの仕組みを簡単に示します。

XGBoost の詳細については、次の記事を参照してください。

• XGBoost: A Scalable Tree Boosting System (XGBoost: スケーラブルツリーブーストシステム)

• 勾配ツリーブースト

• Introduction to Boosted Trees (ブーストツリーの概要)