Train 데이터 Test 데이터 차이 질문.

HAI(하이)! - Hecto AI Challenge : 2025 상반기 헥토 채용 AI 경진대회

김민태

2025.06.14 07:08 1,423 조회

음..

대회 끝물인데요

혹시 다들 loss 차이가 심하나요?

Val 셋에 정확도 98퍼에 loss도 0.066 정도 나오는데

리더보드 스코어로는 많이 차이나네요 ^ㅡ^....;;

댓글 8개

로그인이 필요합니다

comment

0 / 1000

basslibrary

2025.06.14 10:53

저도 마찬가지 입니다. multi processing에 의해 들어가는 random shuffle에도 영향을 받는 거 같으며,
모델에 따라 점수도 오락가락하는게 커서 갈피 잡기가 힘드네요.
큰 모델은 훈련시간이 꽤 걸리는 편이라, 다양하게 해보지 못하고 있습니다.

JonWilkinson

2026.04.10 09:18

삭제된 댓글입니다

dpbossmatka

2026.04.10 09:18

삭제된 댓글입니다

sattamatka111

2026.04.10 09:18

삭제된 댓글입니다

Kayleightrend

2026.04.10 09:18

삭제된 댓글입니다

MichaelSmith

2026.04.11 14:55

저도 비슷한 상황 겪었는데요, 대부분은 train/val이랑 test 분포 차이 때문인 경우가 많습니다. val 성능이 너무 좋으면 오히려 overfitting일 가능성도 있고요.

local에서 쓰는 loss랑 리더보드 metric이 완전히 같은지도 한번 확인해보세요. 그리고 single val보다는 k-fold로 보는게 훨씬 안정적입니다.

sattamatkalite

2026.04.12 05:03

삭제된 댓글입니다

sattamatkalite

2026.04.13 09:10

삭제된 댓글입니다

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동했습니다!