분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Private 11th] roBERTa-base
공동작성자
안녕하세요 금시초밥인데요 입니다.
저희 팀은 roBERTa 모델을 사용하였고, 전처리는 따로 하지 않았습니다.
epoch은 10회, batch size는 16이였으며 최종제출 데이터는 epoch 7회 이후 얼리스탑했습니다.
아래는 저희가 시도해봤던 것들입니다.
모델
gaussiannb, linearSCV, BERT, roBERTa, BERTweet, distilBERT 등 많은 모델들을 사용해보았으나 roBERTa가 가장 성능이 좋았습니다.
전처리
전처리는 불용어, url, 문장부호, 숫자, 중복문자, 어간 추출, 형태소 추출을 시도해 보았습니다.
하지만 따로 전처리를 하지 않는 것이 더 성능이 좋아서 최종 코드에서 빼게 되었습니다.
데이터 증강
Wordnet기반으로 동의어를 활용해 train데이터를 4배로 증강시켜 보았습니다.
하지만 마찬가지로 성능이 사용하기 전보다 좋지 않아서 사용하지 않았습니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved