하이퍼파라미터 튜닝은 정지규칙 값들을 설정하는 것을 의미합니다. 의사결정나무에는 정지규칙(stopping criteria) 이라는 개념이 있는데

오늘 소개해드릴 4가지 정지규칙은

1. 최대깊이 (max_depth)

2. 최소 노드크기(min_samples_split)

3. 최소 향상도(min_impurity_decrease)

4. 비용복잡도(Cost-complexity)

입니다.

최대깊이는 최대로 내려갈 수 있는 depth 입니다. 뿌리 노드로부터 내려갈 수 있는 깊이를 지정하며 작을수록 트리는 작아지게 됩니다.

최소 노드크기는 노드를 분할하기 위한 데이터 수 입니다. 해당 노드에 이 값보다 적은 확률변수 수가 있다면 stop. 작을수록 트리는 커지게 됩니다.

최소 향상도는 노드를 분할하기 위한 최소 향상도 입니다. 향상도가 설정값 이하라면 더 이상 분할하지 않습니다. 작을수록 트리는 커집니다.

비용 복잡도는 트리가 커지는 것에 대해 패널티 계수를 설정해서 불순도와 트리가 커지는 것에 대해 복잡도를 계산하는 것입니다.

이와 같은 정지규칙들을 종합적으로 고려해 최적의 조건값을 설정할 수 있으며 이를 하이퍼파라미터 튜닝이라고 합니다.

하이퍼파라미터 튜닝에는 다양한 방법론이 있습니다. 그 중 Best 성능을 나타내는 GridSearch는 완전 탐색(Exhaustive Search) 을 사용합니다. 가능한 모든 조합 중에서 가장 우수한 조합을 찾아줍니다. 하지만, 완전 탐색이기 때문에 Best 조합을 찾을 때까지 시간이 매우 오래 걸린다는 단점이 있습니다.

⬅️ Lv2 튜닝 2/5 변수 제거 /

Lv2 튜닝 4/5 GridSearch 구현 ➡️

↩️ 오늘의 파이썬 리스트

#데이콘 #데이콘_101 #파이썬 #머신러닝 #딥러닝 #인공지능 #앙상블 #의사결정나무 #코랩 #데이터 #데이터분석 #판다스 #넘파이 #데이터사이언티스트 #AI #Python # Pandas #Numpy #lightgbm #read_csv #DACON #kaggle #sckit-learn