안녕하세요?

모델은 Baseline코드대로 두고, 메타데이터만 테이블에 살짝 붙이는 식으로 개량을 하고 있는 개인팀 돌고래입니다.

보통의 러닝커브는 TrainLoss보다 ValidationLoss가 높은 아래의 모양이고, ValidationLoss와 TrainLoss의 차이가 커지는 부분을 보고 과적합이라고 판단한다고 이해하고 있는데요.

제가 돌리는 대부분의 학습의 경우 TrainLoss보다 ValidationLoss가 항상 낮게 나옵니다.

1. 이런 커브가 나오는 이유
2. 이런 커브에서의 Vaildation의 의미
3. 이런 커브를 막는 방법들

세 가지에 대해 어떻게 생각하셨는지 궁금합니다.

1번 질문에 대해 현 모델의 ValidationLoss측정은 파라미터 업데이트 후 계산 + 드롭아웃노이즈가 없는 상태로 계산하기 때문에 Train보다 낮게 나온다고 결론을 내리자니 그러면 Train보다 늘 낮은 Validation이 일반화 성능 척도로서의 쓸모가 없지 않나? 하고 혼동이 옵니다.

제가 어느 부분을 잘 못 생각하고 있나요?