월간 데이콘 한국어 문장 관계 분류 경진대회

알고리즘 | NLP | 분류 | 자연어 | Accuracy

상금 : 100만원 + α
1,342명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

Private 8th | 0.89435 | Weight average + Ensemble

SH_Park

2022.03.04 07:30 2,484 조회 language

자세하게는 https://github.com/sangHa0411/DACON-NLI 에 나와있습니다.
terminal 명령어로는
1. 훈련할 때 python train_kfold.py --PLM klue/roberta-large --k_fold 5 --lr 2e-5 --epochs 5 --model_type layer3 --warmup_steps 200 --save_steps 500 --eval_steps 500
2. 추론할 때 python inference_kfold.py --PLM_DIR ./exp --tokenizer ./tokenizer --checkpoint 3500 --k_fold 5 --model_type layer3
와 같습니다.

모델은 hidden states에서 최종 layer만을 classification layer로 전달하는 것이 아니라 마지막 layer3개에 weight average 한 결과를 마지막에 classification layer에 전달하도록 하였습니다.

그리고 최종적으로 5-fold training을 적용하였으며 이 결과들을 softvoting을 하였을 때 나온 결과물을 제출하였습니다.

코드