월간 데이콘 뉴스 토픽 분류 AI 경진대회

알고리즘 | NLP | 분류 | 자연어 | Accuracy

상금 : 500,000 D-point
1,717명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[Private 29위 / Public : 0.86068 / RoBERTa_large]

홍학

2021.08.12 20:59 6,122 조회 language

RoBERTa_large 모델을 사용하였습니다.
max_length를 15로 변경하고 epoch 3, lr 1e-5로 설정하여 학습하였습니다.
특수문자 등을 제거하였을 때 성능이 떨어지는 것을 확인하여 클렌징은 따로 진행하지 않았습니다.

시행착오 과정에서 다음 단일 모델들을 사용해보았고, 과적합이 일어나기 전까지 epoch을 늘려가며 성능을 확인한 결과 klue/roberta-large 모델이 가장 좋은 성능을 보였습니다.
klue/roberta -> small, base, large
klue/bert-base
monologg/koelectra -> small, base / v2, v3

감사합니다.

코드