Train 데이터 Test 데이터 차이 질문.

HAI(하이)! - Hecto AI Challenge : 2025 상반기 헥토 채용 AI 경진대회

김민태

2025.06.14 07:08 1,424 Views

음..

대회 끝물인데요

혹시 다들 loss 차이가 심하나요?

Val 셋에 정확도 98퍼에 loss도 0.066 정도 나오는데

리더보드 스코어로는 많이 차이나네요 ^ㅡ^....;;

8 Comments

comment

0 / 1000

basslibrary

2025.06.14 10:53

저도 마찬가지 입니다. multi processing에 의해 들어가는 random shuffle에도 영향을 받는 거 같으며,
모델에 따라 점수도 오락가락하는게 커서 갈피 잡기가 힘드네요.
큰 모델은 훈련시간이 꽤 걸리는 편이라, 다양하게 해보지 못하고 있습니다.

JonWilkinson

2026.04.10 09:18

Deleted Comment

dpbossmatka

2026.04.10 09:18

Deleted Comment

sattamatka111

2026.04.10 09:18

Deleted Comment

Kayleightrend

2026.04.10 09:18

Deleted Comment

MichaelSmith

2026.04.11 14:55

저도 비슷한 상황 겪었는데요, 대부분은 train/val이랑 test 분포 차이 때문인 경우가 많습니다. val 성능이 너무 좋으면 오히려 overfitting일 가능성도 있고요.

local에서 쓰는 loss랑 리더보드 metric이 완전히 같은지도 한번 확인해보세요. 그리고 single val보다는 k-fold로 보는게 훨씬 안정적입니다.

sattamatkalite

2026.04.12 05:03

Deleted Comment

sattamatkalite

2026.04.13 09:10

Deleted Comment

📣 The comment input field has been moved to the top of the comment list!

List

[2위 / 랜덤포레스트로그로스구조대 수상자 인터뷰 ]

Competition - 구조물 안정성 물리 추론 AI 경진대회

Likes 4