분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
보통 최종 제출할때 어떤 데이터를 제출하시나요?
모델 1과 모델 2가 있습니다.
모델 1의 F1 점수가 2보다 낮습니다.
근데 홈페이지에 제출했을때는 결과가 반대로나옵니다. 0.04점 정도 차이가 납니다
이런 경우 모델2가 훈련 데이터에 과적합되었다고 판단하는게 맞을까요?
모델2의 훈련시 F1 점수가 높은편이라(둘다 0.9 대 이긴합니다) 계속 미련이 남는데 그냥 모델 1을 제출해야할지 고민이 됩니다.
처음으로 데이콘 대회를 해봐서그런지 감이 안잡히내요... 혹시 조언을 주실 수 있으시다면 정말 감사하겠습니다.
혹시라도 이런 글 올리는게 부적절하다면 말씀해주시면 바로 삭제하도록 하겠습니다.
알려주셔서 감사합니다! 점수비교는 validation으로 했습니다
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
모델 점수 비교는 validation 데이터셋으로 하신 거죠?
보통 이런 경우는 train 데이터셋과 test 데이터셋의 차이가 얼마나 큰지 감안해서 결정합니다.
예를 들어 train과 test의 차이가 크면, train 내부에서 생성된 validation과 test의 분포차이가 클 거라고 예상가능하고,
이런 경우에는 일반화에 중점을 둔 모델을 이용합니다. (점수가 낮을 수도 있으나 항상 그런건 또 아닙니다...)