생육 기간 예측 경진대회

다들 validation과 LB score 맞아 떨어지시나요?

2021.12.16 19:10 2,388 Views

다들 validation과 LB score 맞아 떨어지시나요?


하루 5회 제출이라 여유롭게 제출은 하는데 생각보다 validation score랑 LB score 가 들쭉 날쭉 하네요.


validation의 성능은 3점 후반 ~ 4점 초반 인데 LB는 5.5 ~ 7.0 까지 다양하게 채점 되네요.


왠지 private에서 shake up이 꽤 생길것 같은 느낌이 듭니다.


무언가 제가 놓치고 있는 부분이 있는 것 같기도 하고요.


다른 분들은 어떠신가요? 이제 내일이면 종료라 정보를 공유하기엔 늦은것 같지만요 ㅠ


졸업을 앞두고.. 시간이 많이 없어 실험을 많이 못해본것이 아쉽네요.



로그인이 필요합니다
0 / 1000
이희재
2021.12.16 20:57

저도 여러 번 제출하면서 validation 으로 어느 정도 기준을 잡아 보려 했는데
LB 점수가 너무 들쭉 날쭉해서 ..ㅎ
뭐가 잘된 건지 감이 안 잡혀서 포기했네요..

최정명
2021.12.16 21:00

내일이 마지막이니까 GPU 열일시켜보죠 !! ㅎㅎ

dev-hunmin
2021.12.16 20:58

동감합니다.. 검증세트의 결과에 확신을 가질 수가 없어서 Public에서의 성능이 Private에서도 동일하게 낼 수 있을지도 잘 모르겠습니다.. Shake up에 대한 마음의 준비는 하고 있습니다 ㅎㅎ

최정명
2021.12.16 21:04

저만 그런게 아닌 것 같아 다행이라고 해야하나요 ㅋㅋㅋㅋ
마지막 까지 화이팅 입니다!

재색
2021.12.16 23:55

삭제된 댓글입니다

Statistics
2021.12.17 16:31

가장 큰 원인은 아무래도 과적합 같습니다.
모형 적합할 때는 10,000개가 넘는 조합을 쓰는 것처럼 느끼지만 실제로는 BC 9개, LT 10개 총 19개 케이스밖에 없기 때문에 어떤 케이스에 좀 더 힘이 실렸는지에 따라 결과가 달라지는 것 같네요!

저는 딥러닝 모형 써서 참가하는 첫 대회라서 더 감을 못 잡고 있는데요ㅎㅎ
최종 제출을 LB Public 스코어를 보고 선택할 것이냐, validation 스코어를 보고 선택할 것이냐, 하나씩 선택할 것이냐 도박이네요

최정명
2021.12.17 18:02

생각보다 변동이 거의 전혀 없네요 ㅋㅋㅋㅋ 

Statistics
2021.12.17 18:10

머쓱ㅋㅋㅋㅋ
점수나 등수나 매우 안정적이네요

최정명
2021.12.17 18:11

알다가도 모를 ... ㅎㅎㅎㅎ
상위권 분들 솔루션이 올라오면 공부해야겠네요!