종버버버님의 모델 학습 로그 (Loss 로그)를 자세하게 볼 수 없어서 구체적으로 무슨 문제인지는 알 수 없지만,
아마 대부분 학습 데이터가 정상class라 그런것으로 보입니다.
Class imbalanced를 해소하는 기법들을 서치해보시는 것을 추천드립니다.

혹은 간단한 방법으로 대부분 정상class로 이루어진 데이터셋으로 단순하게 학습된 모델은 대부분 0에 가까운 확률(sigmoid 값)을 출력할 것입니다.
이를 바탕으로 Label을 결정하는 Threshold를 Validation set을 통해서 적절하게 조절해보시는 것도 좋을 것 같습니다.