대구 교통사고 피해 예측 AI 경진대회

알고리즘 | 정형 | 회귀 | 교통 | RMSLE | 정성평가

  • moneyIcon 상금 : 1,000만원
  • 2,196명 마감

 

MLP 모델의 Shake up에 주의하세요..!!

2023.12.05 21:25 835 조회

아닌 분들도 계시겠지만, 다수의 참가자 분들이 MLP 모델을 사용하고 계신것으로 예상됩니다.


MLP 모델은 예측값의 정확도 편차가 발생할 수 있다는 단점이 존재합니다.

예를 들어, Public RMSLE는 낮게 나오더라도, Private RMSLE는 높게 나와 순위가 떨어질 수 있습니다.


MLP를 사용하신다면, 예측값에 편차가 발생하지 않도록, 다양한 ensemble 및 generalization 방법을 사용하시는 것을 권장드립니다.

로그인이 필요합니다
0 / 1000
셀렌디스
2023.12.06 15:38

조언 감사합니다 센세,, 근데 MLP 모델이 아닌 다른 모델(ex. tree 기반 모델)들에서도 말씀하신 예측값의 정확도 편차가 비슷하게 발생하지 않나요?

EISLab_이희원
2023.12.06 15:50

그렇습니다만, MLP 모델은 tree 기반 모델보다 예측값의 정확도 편차가 매우 심하게 발생할 수 있습니다.

셀렌디스
2023.12.06 16:05

그렇군요.. 참고하겠습니다 감사합니다

meister1378
2023.12.06 15:58

제가 올린 베이스라인 모델에서도 해당 문제가 발생할 수 있을까요? 

EISLab_이희원
2023.12.06 16:00

AutoML로 ensemble한 모델은 아주 약간의 변동만 생깁니다. Shake up이 크게 발생하지 않을 것 같습니다,

meister1378
2023.12.06 16:22

감사합니다. 참고하겠습니다!