대구 교통사고 피해 예측 AI 경진대회

알고리즘 | 정형 | 회귀 | 교통 | RMSLE | 정성평가

  • moneyIcon 상금 : 1,000만원
  • 2,196명 마감

 

한 끗 차이

2023.12.04 17:13 945 조회

팀마다 상황은 다르겠지만 한 끗 점수 차이네요.


10-fold CV 기준 0.443316를 제출했을 때 0.426158가 나왔는데, 비슷한 CV 스코어 기준 일반적으로는 0.4264xx~0.4267xx가 나옵니다.

그리고 10-fold CV (train 90% / test 10%)의 10개 스코어 표준편차가 시드에 따라 0.002x~0.005x 정도로 나옵니다.


LB가 30%의 test 데이터로 측정되고 있는 만큼, 현재 스코어 기준 0.001 정도의 차이는 생각보다 쉽게 뒤엉킬 수 있겠네요.

여러분은 어떠신가요? parameter와 seed에 따라 얼마나 출렁이고 있나요?




로그인이 필요합니다
0 / 1000
EISLab_이희원
2023.12.04 17:20

저는 0.427xx에서 출렁이고 있습니다.
아마도 이번 대회에서는 점수차가 좁은 만큼 shake up도 심하게 일어날 수 있겠네요.