안녕하세요 lastdefiance20입니다.

모델은 쇼핑몰 평점 댓글로 데이터가 이루어져 있기 때문에, 잘 정제된 데이터를 기반으로 학습한 KoElectra가 아닌, 댓글 및 구어체로 학습된 KcElectra를 사용했습니다.
class imbalance문제는 focal loss를 이용해서 어느정도 해결했으나, 충분하게 해결하지 못한 것 같습니다.

점수 상승은 댓글에 포함된 이상한 단어들과, 숫자들을 제거하면서 가장 높게 일어났습니다. 데이터셋의 전처리가 이 대회의 핵심이 아니었을까 하는 생각이 듭니다.
또한 댓글에 오탈자도 많이 보였는데, 안본내 주셨어요 -> 안보내 주셨어요 등 교정작업을 충분하게 못해서 아쉬웠던것 같습니다.

코드는 데이터 preproces -> 데이터 토큰화 -> 모델 학습 -> 제출 순으로 이루어져있습니다.