월간 데이콘 한국어 문장 관계 분류 경진대회

자세하게는 https://github.com/sangHa0411/DACON-NLI 에 나와있습니다.
terminal 명령어로는 
1. 훈련할 때 python train_kfold.py --PLM klue/roberta-large --k_fold 5 --lr 2e-5 --epochs 5 --model_type layer3 --warmup_steps 200 --save_steps 500 --eval_steps 500
2. 추론할 때 python inference_kfold.py --PLM_DIR ./exp --tokenizer ./tokenizer --checkpoint 3500 --k_fold 5 --model_type layer3 
와 같습니다.

모델은 hidden states에서 최종 layer만을 classification layer로 전달하는 것이 아니라 마지막 layer3개에 weight average 한 결과를 마지막에 classification layer에 전달하도록 하였습니다. 

그리고 최종적으로 5-fold training을 적용하였으며 이 결과들을 softvoting을 하였을 때 나온 결과물을 제출하였습니다.