답변 감사합니다. 
delay열을 최빈값으로 채우는건 말도 안된다고 생각합니다. 물론 저도 label인 delay열을 최빈값으로 채우지도 않았구요.
baseline코드를 봐도 Delay열을 최빈값으로 채우기보다는 drop 해서 남은 데이터를 쓰는 형식이고, 저 또한 이렇게 했습니다.
제가 말씀드린건 dropna를 통해 delay열을 버리고 학습했을 때 발생하는 문제 였습니다~

저도 비슷하게 delay 열을 결측치가 아닌 값들을 이용해서 채우고 학습을 돌리고 있는데, 아래 댓글에서도 다른 분께서 언급하셨지만 모델 학습률을 높였을 때 점수가 더 떨어지고, 오히려 학습률을 낮췄을 때 리더보드 값이 더 잘 나오더라고요. 

즉 제가 사용한 방법이 (주어진 데이터셋이 문제 없는 데이터라면) delay 열을 잘못 예측하고 있다는 것이고, 그렇다면 
1) 예측 방법(준지도학습에 사용한 feature나 모델 선택)이 잘못되었거나 
2) delay 열이 너무 많이 비었기 때문에 결측치가 아닌 데이터만으로는 전체 데이터의 분포를 제대로 설명하지 못한다
는 결론에 도달해서 delay 열을 제대로 채울 방법을 찾아보고 있습니다만... 정말 어렵네요.
만약 2번이 맞다면 여기서 더 크게 나아질 방법이 있을까 싶기도 하고요. (그렇다면 데이터셋 생성을 다시 해야지...)

다른 분들은 어떻게 하셨는지도 엄청 궁금하네요.

참고로 imputation 이란 것을 검색해 보시면, 2번에 대한 제 답변이 되겠습니다. 

일단 train/val을 나누고 validation에 대한 logloss를 봐야할거 같은데..
저도 validation에 대한 logloss 는 0.4 초반대 까지 찍어서 이것이 테스트에도 어느정도는 유효해야 한다고 생각했는데
테스트 데이터에는 모두 1이 넘네요..ㅠ 

답변 감사합니다..
저도 delay 빼고는 거의 모든 데이터 합리적으로 결측치를 채워넣고 진행했는데도..
좋지 않네요.ㅠ.ㅠ
아무리 고쳐봐도, 어떤 모델을 쓰던 결과가 같아서 (val loss 는 낮고, test loss 는 매우 높음)
뭔가 잘 못된거 같은 느낌만 들어서 답답해서 글 올려봤습니당..ㅋㅋㅋ

하여도 뭐 결과를 잘 내신 분들이 있는거 보면 뭔가 놓친게 있나 생각해보는 수 밖에요. 

답변 감사합니다. 제 의견은 val loss와 test loss 에서 오는 괴리감 이었습니다.
Delay 열을 train 에서 아무리 잘 채운다고 하더라도 이 괴리는 좁혀지지 않을 것이라는 의문이 들어서 질문 한 거였구요.!ㅎㅎ
저도 상위 분들 어떻게 했나 궁금하네요.

저도  훈련할 때 5-fold로 해서 제출 한 30번 할때까지는 loss가 0.2~0.4 나오는데 제출결과는 0.9~1.1 사이로 나오더라고요.

그래서 그냥 모델의 반복 횟수를 낮춰서 특정 값 나오게 바꾸니까 오히려 점수가 잘 나오는 아이러니한 점이.. 어렵습니다.

아닙니다... 의문점을 확인하려고 올린 것 일 뿐입니다.
설명 안 되는 부분이 있어서.. 저 점수는 가짜 입니다..ㅎㅎ 

결론이 비슷하시네요.
한편으론, 여태 아무도 이런 질문이 없었다는게 신기하네요..

2) 의 경우 log loss 계산 공식을 생각해보면, 2번 logloss 값이 엉터리로 계산되지는 않고 정확하게 계산됩니다. 이것은 데이터를 0.5 0.5 넣으시면 로그 계산법이 정확하게 되는 것임은 확인하실 수 있습니다.

저도 1)과 같이 생각하고 있습니다. training 데이터셋과 test 데이터셋의 데이터 분포가 전혀 다르다고 결론을 내렸네요.
이상하다고 생각하는 데이터를 가지고, 일단은 데이터leakage (= 찍기) 없이 할 수 있는 최대한의 방법을 해보고 있네요...
의욕이 떨어졌다고 하신게 공감이 됩니다..ㅠ