저도 그렇습니다.

데이터가 적어서 그렇습니다. Train set과 Test set 모두 일반화가 가능할 정도로 데이터가 많지 않습니다.
특히 Test set의 경우 데이터가 100개 밖에 되지 않아 validation score와 public score의 차이가 커질 수 밖에 없습니다.

학습/테스트 데이터 모두 적습니다. public/private shake-up도 상당할 것으로 보이네요

저는 지표에서 현재 public 리더보드 기준으로 똑같이 측정시에 학습 이후 로그에 출력되는 점수랑 비교했을 때 오차범위가 +-0.05정도 되는 것 같아요 
(이건 아마 1차 평가시 테스트 데이터 50%중에서 ★무작위 80%★를 검증하는 것이라서 그런 것 같습니다. 
즉, 똑같은 파일을 제출하더라도 점수가 다르다는 것이 될수도 있다는 말이죠 (제가 이해한 것이 맞다면) )

이럴 때 최종 제출을 CV 기준으로 할지 LB 기준으로 할지 고민이 될 것 같습니다.