세가지 열들이 다른 열들보다 짧은터라 해당 열들만 잘 해도 성능이 나오지않을까 싶어 도전해봤습니다

해당 열들을 Electra MLM으로 학습시켰을때 정상적으로 학습이 되었는데도 불구하고 sentence classification 학습으로 들어가니 전부 label을 0으로 예측하는데요

어쩌면 해당 열들은 label에 따른 word 간의 큰 차이가 없을수도 있다 싶네요

비슷한 현상을 겪으시는 분들이 계신지 궁금합니다