#오늘의 파이썬 #1일1오파 #파이썬 # python

매일 오전10시 업로드, Dacon Daily Python Camp. 1일1오파 격파하기!

  • moneyIcon Prize : 교육
  • 9,999명 D-101313

 

Lv3 튜닝 2/3 python 파이썬 그리드, 랜덤 서치, Bayesian

2021.07.30 12:04 3,220 Views

이번 시간에는 Hyper Parameter의 3가지 튜닝 방법을 비교해보겠습니다.


1.Grid Search

  • 기법 :  Grid Search는 사전에 탐색할 값들을 미리 지정해주고, 그 값들의 모든 조합을 바탕으로 성능의 최고점을 찾아냅니다.
  • 장점 :
  • 내가 원하는 범위를 정확하게 비교 분석이 가능하다.
  • 단점 :
  • 시간이 오래걸린다.

(4개의 파라미터에 대해서, 4가지 값들을 지정해두고, 한 번 탐색하는데 1분이 걸린다면 -> 4*4*1분 = 16분 소요)

  • 성능의 최고점이 아닐 가능성이 높다.
  • "최적화 검색" (여러개들을 비교 분석해서 최고를 찾아내는 기법)이지, "최적화 탐색"(성능이 가장 높은 점으로 점차 찾아가는 기법)이 아니다.

2.Random Search

  • 기법 : 사전에 탐색할 값들의 범위를 지정해주고, 그 범위 속에서 가능한 조합을 바탕으로 최고점을 찾아냅니다.
  • 장점 :
  • Grid Search에 비해 시간이 짧게 걸린다.
  • Grid Search보다, 랜덤하게 점들을 찍으니, 성능이 더 좋은 점으로 갈 가능성이 높다.
  • 단점 :
  • 반대로 성능이 Grid Search보다 낮을 수 있다.
  • 하이퍼 파라미터의 범위가 너무 넓으면, 일반화된 결과가 나오지 않는다. (할 때 마다 달라진다)
  • seed를 고정하지 않으면, 할 때 마다 결과가 달라진다.
  • 마찬가지로, "최적값 검색"의 느낌이지, "최적화 탐색"의 개념이 아니다.

3.Bayeisan Optimization

  • 기법 : 하이퍼파라미터의 범위를 지정한 후, Random하게 R 번 탐색한 후, B번 만큼 최적의 값을 찾아간다.
  • 장점 :
  • 정말 "최적의 값"을 찾아갈 수 있다.
  • 상대적으로 시간이 덜 걸린다.
  • 엔지니어가 그 결과값을 신뢰할 수 있다.
  • 단점 :
  • Random하게 찍은 값이 달라질 경우, 최적화 하는데 오래 걸릴 수 있다.
  • Random하게 찍은 값이 부족하면, 최적의 값을 탐색하는게 불가능 할 수 있다.
  • Rnadom하게 찍은 값이 너무 많으면, 최적화 이전에 이미 최적값을 가지고 있을 수도 있다.

그럼에도, Bayesian Optimization은 수동적으로 하이퍼 파라미터를 튜닝하는데 좋은 결과를 가져온다.


오늘은 실습이 없습니다.


↩️ 오늘의 파이썬 리스트

#데이콘_101 #AI #머신러닝 #딥러닝 #파이썬 #파이선  #데이터분석 #데이터사이언티스트 #코랩 #Python  #colab #kaggle #pandas #numpy #sckit-learn # read_csv #Bayesianoptimization #Bayesian #Optimization



백만초밥
2021.08.09 12:11

오타가 있는 것 같은데..
2. Random Search 의 설명 부분에서
단점 : 
반대로 성능이 Random Search보다 낮을 수 있다. <- 이 부분에서  Random Search 말고 다른 게 들어가야 하는 것 아닌가요?

DACON.edu
2021.08.30 09:55

안녕하세요. 백만초밥님.

해당 내용 수정 되었습니다.

감사합니다.

그린티
2021.09.08 21:00

done

DSJY
2021.09.13 18:14

phu
2021.09.14 22:21

다욤
2021.09.19 16:01

찬찬이
2021.09.25 12:03

changhyeon
2021.10.09 19:18

done

왼쪽눈썹왁싱
2021.10.31 11:03

moran
2021.12.27 17:54

하잉바
2021.12.27 20:25

dbnoid
2022.01.18 20:15

hijihyo
2022.01.23 16:51

done

djffjdEndEkd
2022.01.29 17:36

done

호랭이띠
2022.01.29 21:54

done

djffjdEndEkd
2022.02.06 16:41

done

ChimChim
2022.03.08 23:54

acebed
2022.03.10 18:00

done

하얀레몬
2022.03.21 13:32

done

kimgugu
2022.03.27 11:31

비회원
2022.04.06 11:53

Kdata
2022.04.27 16:40

krooner
2022.05.19 15:54

DACON.NPC
2022.06.29 09:38

양현모든지쓸어버리겠다
2022.07.07 15:33

dirno
2022.07.08 20:13

MINKYU
2022.07.22 02:07

세라자데
2022.08.02 11:45

로그인이 필요합니다
0 / 1000