안녕하세요 🙋‍♂️🙋‍♀️ 오늘 알아볼 개념은 LightGBM 입니다.

머신러닝에서 부스팅 알고리즘은 오답에 가중치를 더하면서 학습을 진행하는 알고리즘 입니다.

그 중 Gradinet Boosting Machine(GBM)은 가중치를 경사하강법(gradint boosting)으로 업데이트 했습니다.

지난 시간에 배운 XGBoost는 GBM의 단점을 보완한 알고리즘 입니다.  

xgboost는 굉장히 좋은 성능을 보여주었지만 여전히 속도면에서는 조금 느리다는 단점이 존재 합니다. 👴

이러한 단점을 보완해주기위해 탄생한 것이 LightGBM(LGBM) 입니다 ! ✨✨

LGBM의 특징

LGBM은 기존의 gradinet boosting 알고리즘과 다르게 동작됩니다.

기존 boosting 모델들은 트리를 level-wise 하게 늘어나는 방법을 사용한 반면, LGBM은 leaf wise(리프 중심) 트리 분할을 사용 합니다.

CCKorea / CC BY

leaf-wise 의 장점은 속도가 빠르다는 것이 가장 큰 장점입니다. 데이터 양이 많아지는 상황에서 빠른 결과를 얻는데 시간이 점점 많이 걸리고 있는데, Light GBM은 큰 사이즈의 데이터를 다룰 수 있고 실행시킬 때 적은 메모리를 차지합니다.

LGBM의 장점👩‍🏫

1. 대용량 데이터 처리
2. 효율적인 메모리 사용
3. 빠른 속도
4. GPU 지원

LGBM의 단점👩‍🌾

Light GBM은 Leaf-wise growh로 과적합의 우려가 다른 Tree 알고리즘 대비 높은 편입니다. 그러므로 데이터의 양이 적을 경우 Overfiitng(과적합)에 취약한 면이 있어 데이터 양의 적을 경우 사용을 자제하는 것이 좋습니다.

오늘은 LGBM의 개념에 대해 알아보았습니다. 다음 시간에는 LGBM을 이용해 와인 품질 분류를 실습해보도록 하겠습니다.

감사합니다.🕵️‍♀️

↩️ 오늘의 파이썬 리스트

#데이콘_101 #AI #머신러닝 #딥러닝 #파이썬 #파이선  #데이터분석 #데이터사이언티스트 #코랩 #Python  #colab #kaggle #pandas #numpy #sckit-learn # read_csv #스케일링 #xgboost #부스팅 #앙상블