XGBoost 작동 방식

XGBoost는 그라디언트 부스팅 트리 알고리즘에서 유명하고 효율적인 오픈 소스 구현입니다. 그라디언트 부스팅은 더욱 단순하고 약한 모델 세트의 추정치를 결합하여 대상 변수를 정확하게 예측하려 시도하는 지도 학습 알고리즘입니다.

회귀에 대해 그라디언트 부스팅을 사용할 때 약한 학습기는 회귀 트리이고, 각 회귀 트리는 입력 데이터 지점을 여러 점수가 포함된 리프로 매핑합니다. XGBoost는 볼록 손실 함수(예측과 대상 결과의 차이를 기반으로 함)와 모델 복잡성의 벌점항(회귀 트리 함수)을 결합하는 정규화된(L1 및 L2) 객체 함수를 최소화합니다. 교육은 반복적으로 진행되어 이전 트리의 잔차 또는 오류를 예측하는 새 트리를 추가하고 앞선 트리들과 결합하여 최종 예측을 생성합니다. 경사 하강 알고리즘을 사용하여 새 모델을 추가할 때 손실을 최소화하기 때문에 이를 그라디언트 부스팅이라고 합니다.

아래는 그래디언트 트리 부스팅의 작동 방식에 대한 간략한 그림입니다.

XGBoost에 대한 자세한 정보는 다음을 참조하십시오.

• XGBoost: A Scalable Tree Boosting System

• 그래디언트 트리 부스팅

• Introduction to Boosted Trees