목록으로

하이퍼파라미터 최적화 방법 문의 ?

#태양광 발전량 예측 AI 경진대회
  • day2021.01.15 22:06
  • views512 views
  • writer by NoMa

하이퍼파라미터 최적화를 위한 좋은 방법은 어떤 것이 있나요?

quantile regressgion에 대한 적절한 예제를 찾아 보기가 어렵네요.

하이퍼파라미터 최적화 툴을 이용할 때 각각의 quantile 값에 대해 최적화를 실행하나요?

아니면 quantile regression의 경우 적절한 자동화 방법이 없나요?

아직 실력이 부족해 질문해 봅니다.

아시는 분이 가르처 주시면 좋겠습니다.


  • 고라파덕 고라파덕 2021.01.17 11:41
    엄연히 따지면 quantile loss(y, y_hat, 0.3)과 quantile loss(y, y_hat, 0.7)은 다른 loss함수니 원칙적으론 loss마다 하는것이 맞습니다.
    예를들어 0.3 퀀타일 로스와 0.7 퀀타일을 예측하는데 서로 다른 모델이 더 적합할것으로 예상되면 9개 로스 함수에 대해서 각각 최적화를 하는것이 좋습니다.
    
    반면 거의 비슷한 task로 보이고 최적 모델의 하이퍼 파라미터가 크게 다르지 않을것으로 예상되면 9개 퀀타일 함수의 합을 최적화 하는 방법도 있습니다.
    어차피 이 경진대회의 최종 Loss 계산법도 모든 값들의 Loss를 평균낸 값이니 모든 모델을 1개 파라미터 set으로 최적화 하는 방법이
    이 방법에 대응되겠죠.
    
    빠른시간으로 최적화를 진행하고싶다 하면 1개 대표 퀀타일을 설정해서 해당 파라미터를 일괄 적용하는 방법이 가장 빠르겠죠.
    이 경우에는 MAE 계산과 대응되는 0.5 퀀타일 로스를 사용하는게 가장 baseline 선택이 되겠습니다
    
    
    어떤 방식으로 접근을 하고 전략을 사용하느냐에 따라 달라질것 같습니다
  • NoMa NoMa 2021.01.17 18:31
    답변 정말 감사합니다. 많은 도움이 됩니다.
로그인이 필요합니다로그인이 필요합니다
목록으로