월간 데이콘 한국어 문장 관계 분류 경진대회

알고리즘 | NLP | 분류 | 자연어 | Accuracy

상금 : 100만원 + α
1,326명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[Private 14th/0.88895] R3F Loss, Back Translation

저에게시간과예산이조금만더있었더라면

공동작성자

2022.03.01 18:34 2,149 조회 language

기존에 'JunsuLee'님이 올려주신 베이스라인을 수정하는 방식으로 진행하였습니다.
KLUE/RoBERTa-Large 모델을 Stratified 5-fold out soft voting ensemble으로 제출하였습니다.

추가 데이터셋으로는 KorNLI Dev, Test set/KLUE Official Dev Data를 사용하였습니다.
Data Augmentation으로는 'Kerry'님의 코드를 참고하여 원본 Train set에 Back Translation를 적용하였습니다.
Fine-tuning 시에 loss와 acc가 같이 증가하는 현상에 대해서 catastrophic forgetting 현상인지 의심이 들어서 추가 regularization을 적용하였습니다.
이 때 R3F Loss( https://arxiv.org/pdf/2008.03156.pdf)를 적용하였으며, 해당 Loss를 위한 hyperparameter는 단순 grid search를 시도했습니다.
팀원마다 모두 각자의 Colab 환경에서 시도하였으며, 이에 따라 code에 사용되는 directory path가 달라 실제 사용 시에는 path 확인을 부탁드리겠습니다.

KorNLI Dev, Test set: https://github.com/kakaobrain/KorNLUDatasets
KLUE Official Dev Data: https://aistages-prod-server-public.s3.amazonaws.com/app/Competitions/000068/data/klue-nli-v1.1.tar.gz
'JunsuLee'님의 코드: https://dacon.io/competitions/official/235875/codeshare/4520?page=1&dtype=recent
'Key'님의 코드: https://dacon.io/competitions/official/235747/codeshare/3054?page=1&dtype=recent

코드