최정명님 말씀처럼 데이터 분포 차이가 있을 수도 있고,
저는 train data를 녹음한 사람과 test data를 녹음한 사람이 다른 사람이라 그럴 수도 있다고 생각합니다.
train data를 보니 각 국적마다 녹음한 사람이 동일한 경우가 있는데
test data에 train data에 없는 사람의 목소리가 추출되었다면 cv와 lb 차이가 생길 수 있을 것 같습니다...
개인적인 생각이지만 아마 이미지 문제처럼 증강을 어떻게 하느냐가 중요할 것 같기도 합니다.