월간 데이콘 한국어 문장 관계 분류 경진대회

알고리즘 | NLP | 분류 | 자연어 | Accuracy

상금 : 100만원 + α
1,326명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

Private 1st, RoBERTa, Voting ensemble

정성문

공동작성자

2022.03.04 16:06 3,051 조회 language

안녕하세요, 팀가온입니다!

저희는 데이콘에서 제공한 데이터 외에 Klue와 KAKAO의 NLI 데이터를 추가로 사용했습니다.
빠른 학습을 위해 TPU로 학습을 진행했고, 학습시간의 문제로 KAKAO 데이터의 경우 50만개 중 10만개를 학습에 사용했습니다.

KLUE 데이터의 경우 label이 5개였고 해당 label을 토대로 gold_label을 선정하는 것에서 착안하여,
데이터를 5fold로 나누어 학습했고 추론에 Hard voting과 Soft voting을 적용하는 방식을 사용했습니다.

https://github.com/teamgaon/KLUE
추후 위 주소에 README 파일을 작성하도록 하겠습니다.

코드