Fonctionnement de XGBoost - Amazon SageMaker

Fonctionnement de XGBoost

XGBoost est une implémentation open source réputée et efficace de l'algorithme d'arborescences de gradients améliorés. Le boosting de gradient est un algorithme d'apprentissage supervisé, qui tente de prédire avec précision une variable cible en combinant les estimations d'un ensemble de modèles plus simple et plus faibles.

Lorsque vous utilisez le boosting de gradient pour la régression, les apprenants faibles sont les arbres de régression et chaque arbre de régression mappe un point de données d'entrée à l'une de ses feuilles qui contient un score continu. XGBoost réduit une fonction objective régularisée (L1 et L2) qui associe une fonction de perte convexe (basée sur la différence entre les sorties prédites et cibles) et une condition de pénalité pour la complexité du modèle (en d'autres termes, les fonctions d'arbre de régression). L'entraînement se poursuit de façon itérative, en ajoutant de nouveaux arbres qui prédisent les résidus ou les erreurs des arbres antérieurs qui sont ensuite combinés avec les arbres précédents pour effectuer la prédiction finale. Il est appelée boosting de gradient, parce qu'il utilise un algorithme de descente de gradient pour minimiser la perte lors de l'ajout de nouveaux modèles.

Voici une brève illustration du fonctionnement du boosting de l'arborescence de gradient.

Pour plus d'informations sur XGBoost, consultez: