건설기계 오일 상태 분류 AI 경진대회

public score 와 private score 차이가 많이 나네요

2022.12.12 16:29 2,668 조회


public score 높이는 데에만 집중을 했었는데 결국 public score가 낮은 모형이 private score에서는 좋았을 수도 있겠네요..

public score는 아무 의미가 없는 지표였네요ㅠ 첫 제출인데 다음엔 리더보드에 연연하지 않아야겠어요.

로그인이 필요합니다
0 / 1000
NN_is_all_you_need
2022.12.12 17:12

Public에만 Fit시키다보면 Public Overfitting이 일어날 수 있죠
그래서 Shake up을 당하지 않도록 일반화를 항상 신경써야합니다

길동이
2022.12.12 17:49

중요한걸 배운 것 같네요 감사합니다!

alphakoo
2022.12.12 20:19

저도 첫 대회 출전이었는데... 10%에 들었다고 생각했는데 private에서 뒤로 쭉 밀렸습니다. ㅠㅠ

길동이
2022.12.13 23:54

저도 비슷한 경우네요 ㅠㅠ

RaOOn
2022.12.13 13:15

public 점수가 private 점수를 대표하지 못한 것 같아 다소 아쉽네요 .
이론적으로 더 좋은 코드가 있었지만 Public 점수를 기준으로 모델을 발전해 나갔는데
이렇게 되면 데이콘 대회에서 public이 좋은 코드와 이론적으로 더 좋다고 생각하는 결과 중 무엇을 내야할지 고민되네요.