2023 용인시 SW/AI 해커톤

안녕하세요. 팀 세모세입니다.

사전학습 모델로 BERT, RoBERTa, BERTweet 등을 시험했으며, 그 중 BERTweet의 성능이 가장 좋았습니다.

데이터 전처리
- 여러 번의 실험 끝에 전처리를 많이 하는 것보다 최소한의 전처리만 하는 것이 정확도가 높아 최소한의 전처리만 진행하였습니다.
- @유저이름(멘션)을 모두 "@user"로 치환하며, 연속된 @user들은 하나만 남도록 처리했습니다.
("@YoungIn @AI @hackathon"-> "@uesr")
- 각종 사이트 주소는 "http"로 치환했습니다.
("https://naver.com" -> "http")
- 최대 토큰 수를 제한함으로써 text데이터에서 영어 이외의 언어를 제외하고 학습 속도를 높였습니다. 
- 최대 토큰 수의 경우, 여러 번의 실험 끝에 가장 적합한 110으로 제한하였습니다.

데이터 증강
증강하지 않을 때의 결과가 더 좋아 데이터 증강은 하지 않았습니다.

모델링 및 학습
bertweet-large모델을 기반으로 Stratified K-fold를 사용하여 교차검증하였습니다.