아무리 학습 방법을 바꿔도 성능이 올라가지 않아 데이터를 자세하게 살펴보다 문제를 발견하였습니다.

"데이터에서 찾은 AI 속보"라는 중복적인 content에 대해 label이 일정하지 않습니다.

train set에서 해당 content에 대해 67개는 가짜, 26개는 진짜로 label이 되어있는데, 해당 문구를 검색해본 결과 주식 관련 광고 문구였습니다.

test set에도 해당 문구가 200개 이상 포함되어 있는데, 현재 리더보드에서 정확도의 차이가 미미하기 때문에 이 문구가 일관적으로 label이 되어있지 않다면 운(?)에 따라 정확도와 등수에 변동이 있지 않을까 싶습니다.