이번 시간과 다음 시간에는 Boosting 모델중 하나인 XGboost 모델을 배워볼 예정 입니다.

이번시간에는 xgboost의 개념과 사용법에 대해 익히고, 다음 시간에는 xgboost를 이용해 와인 품질 분류를 진행해 보겠습니다.

XGBoost란 ❓❔

XGBoost는 Extreme Gradient Boosting의 약자입니다.

Boosting 기법을 이용하여 구현한 알고리즘은 Gradient Boost 가 대표적

이 알고리즘을 병렬 학습이 지원되도록 구현한 라이브러리가 XGBoost 이다.

Regression, Classification 문제를 모두 지원하며, 성능과 자원 효율이 좋아서, 인기 있게 사용되는 알고리즘 입니다.

여기서 Boosting이 란 무엇이냐면,

여러개의 성능이 높지 않은 모델을 조합해서 사용하는 앙상블 기법중 하나입니다.

성능이 낮은 예측 모형들의 학습 에러에 가중치를 두고, 순차적으로 다음 학습 모델에 반영하여 강한 예측모형을 만듭니다. 아래 그림은 boosting 모델의 학습 예시 입니다.

CCKorea / CC BY

XGBoost의 장점

기존 boosting 모델 대비 빠른 수행시간(병렬 처리)

과적합 규제 지원(Regularization)

분류와 회귀 task 에서 높은 예측 성능

Early Stopping(조기 종료) 기능 제공.

다양한 옵션을 제공해 Customizing이 용이.

결측치를 내부적으로 처리 함.

↩️ 오늘의 파이썬 리스트

#데이콘_101 #AI #머신러닝 #딥러닝 #파이썬 #파이선  #데이터분석 #데이터사이언티스트 #코랩 #Python  #colab #kaggle #pandas #numpy #sckit-learn # read_csv #스케일링 #xgboost #boosing #앙상블