DACON Monthly News Topic Classification AI Competition

Algorithm | NLP | Classification | Natural Language | Accuracy

Prize : 5,000 D-point
2021.06.30 ~ 2021.08.09 17:59 + Google Calendar
1,867 Users Completed

Practice

Overview Data Code (share) Talk Leaderboard

Submission

[Private 29위 / Public : 0.86068 / RoBERTa_large]

홍학

2021.08.12 20:59 8,081 Views language

RoBERTa_large 모델을 사용하였습니다.
max_length를 15로 변경하고 epoch 3, lr 1e-5로 설정하여 학습하였습니다.
특수문자 등을 제거하였을 때 성능이 떨어지는 것을 확인하여 클렌징은 따로 진행하지 않았습니다.

시행착오 과정에서 다음 단일 모델들을 사용해보았고, 과적합이 일어나기 전까지 epoch을 늘려가며 성능을 확인한 결과 klue/roberta-large 모델이 가장 좋은 성능을 보였습니다.
klue/roberta -> small, base, large
klue/bert-base
monologg/koelectra -> small, base / v2, v3

감사합니다.

Code