보통 최종 제출할때 어떤 데이터를 제출하시나요?

2023.04.06 03:21 706 Views

모델 1과 모델 2가 있습니다.

모델 1의 F1 점수가 2보다 낮습니다.

근데 홈페이지에 제출했을때는 결과가 반대로나옵니다. 0.04점 정도 차이가 납니다

이런 경우 모델2가 훈련 데이터에 과적합되었다고 판단하는게 맞을까요?

모델2의 훈련시 F1 점수가 높은편이라(둘다 0.9 대 이긴합니다) 계속 미련이 남는데 그냥 모델 1을 제출해야할지 고민이 됩니다.


처음으로 데이콘 대회를 해봐서그런지 감이 안잡히내요... 혹시 조언을 주실 수 있으시다면 정말 감사하겠습니다.

혹시라도 이런 글 올리는게 부적절하다면 말씀해주시면 바로 삭제하도록 하겠습니다.

로그인이 필요합니다
0 / 1000
Mob
2023.04.07 09:48

모델 점수 비교는 validation 데이터셋으로 하신 거죠?
보통 이런 경우는 train 데이터셋과 test 데이터셋의 차이가 얼마나 큰지 감안해서 결정합니다.
예를 들어 train과 test의 차이가 크면, train 내부에서 생성된 validation과 test의 분포차이가 클 거라고 예상가능하고,
이런 경우에는 일반화에 중점을 둔 모델을 이용합니다. (점수가 낮을 수도 있으나 항상 그런건 또 아닙니다...)

강달봉
2023.04.07 10:13

알려주셔서 감사합니다! 점수비교는 validation으로 했습니다