본문 바로가기

Boosting

(1)

[Machine Learning] XGBoost (Extreme Gradient Boosting) 📌 Boosting - 여러 개의 약한 Decision Tree를 조합해서 사용하는 Ensemble 기법 중 하나 - 약한 에측 모형들의 학습 에러에 가중치를 두고, 순차적으로 다음 학습 모델에 반영하여 강한 예측모형을 만드는 것 📌Gradient Boosting - 경사 하강법(gradient descent)을 사용해 잔여 오차를 최소화하는 것 - 잘못된 예측을 기반으로 조정하여 새로운 트리를 만듦 (랜덤 포레스트 알고리즘의 결점을 보완하는 매력적인 대안) - 새로운 트리는 올바르게 예측된 값에는 영향을 받지 않는다 - 오차에만 초점을 맞추는 ML 알고리즘 만드려면 정확한 최종 예측을 만들기 위해 오차를 계산하는 방법 필요 따라서, 모델의 예측과 실제 값 사이의 차이인 잔차(residual)를 활용 -..

이전 1 다음

티스토리툴바