안녕하세요.🧏‍♂️🧏‍♀️ Lv4 의 튜닝 부분에서는 Randomforest, XGBoost, Light GBM 총 3개의 모델을 튜닝하고 Voting Classifier로 만드는 과정을 진행 할 예정입니다.

모델을 튜닝 하기전에 우선 Lv3에서 진행했던 Bayesian Optimization에 대해 복습하는 시간을 갖도록 하겠습니다.

Bayesian Optimization 🎸

우리가 흔히 알고 있는 하이퍼 파라미터 튜닝방법은 Grid Search, Random Search 입니다.

Grid Search란 가능한 하이퍼파라미터 경우의 수를 일정 구간으로 나눠 구간별로 균일하게 대입 해보는 방식입니다.

간격을 어떻게 잡을지 정하는 것이 문제고, 시간이 너무 오래걸린다는 단점이 있습니다.

Random Search란 가능한 하이퍼파라미터 조합을 random하게 선택해서 대입해보는 방식입니다.

위 두가지 튜닝방법의 문제점은 이제까지의 사전지식(실험결과) 가 반영되지 않는 다는 것 입니다.

Baysian Optimization은 사전지식(실험 결과)을 반영해가며 하이퍼파라미터를 탐색 합니다. 즉, 현재까지 얻어진 모델의 파라미터와 추가적인 실험 정보를 통해 데이터가 주어 졌을 때 모델의 성능이 가장 좋을 확률이 높은 파라미터를 찾아냅니다.

우리가 다룰 Bayesian Optimization 패키지에서는 다음과 같은 단계가 필요합니다.👨‍🏫

1. 변경할 하이퍼 파라미터의 범위를 설정한다.
2. Bayesian Optimization 패키지를 통해, 하이퍼 파라미터의 범위 속 값들을 랜덤하게 가져온다.
3. 처음 R번은 정말 Random하게 좌표를 꺼내 성능을 확인한다.
4. 이후 B번은 Bayesian Optimization을 통해 B번만큼 최적의 값을 찾는다.

다음 시간에는 실습을 진행 해보도록 하겠습니다

↩️ 오늘의 파이썬 리스트

#데이콘_101 #AI #머신러닝 #딥러닝 #파이썬 #파이선 #데이터분석 #데이터사이언티스트 #코랩 #Python #colab #kaggle #pandas #numpy #sckit-learn # read_csv