월간 데이콘 한국어 문장 관계 분류 경진대회

안녕하세요! 
운이 좋게 Private 10th에 위치하게 되어 솔루션을 공유드리려고 합니다.

코드 자체는 파이썬 스크립트로 작성되어 있어서 전체 코드를 보고싶으신 분은 https://github.com/gistarrr/Dacon/tree/master/KLUE_NLI 를 참고하면 좋을 것 같습니다. 

-------------------------------------------------------------------------------------------------------------------------------

- 실행 환경 : Colab Pro 환경에서 진행되었습니다.
- Data : 제공된 데이터 + KLUE Official Dev DataSet을 활용하였습니다.
- Model : 기본 아키텍쳐는 Roberta-Large를 사용했습니다.
- 학습 방법 : Stratify Kfold로 5 fold 학습을 진행하였고 이를 soft-voting 하였습니다.
- 결과물 : 최종 결과물은 3가지 모델 (Roberta-Large, Roberta-Large + LSTM, Roberta-Large + Self-Explainable)에 r-drop 방식으로 학습한 결과를 hard-voting 하였습니다.

1. R-drop : 일반화 성능을 향상시키기 위해서 사용하였습니다. 자세한 내용은 https://arxiv.org/abs/2106.14448 를 참고하면 좋을 것 같습니다. 
2. Self-Explaining : Paperwithcodes의 NLI 분야에서 2등에 위치한 Self-Explaining Structures Improve NLP Models의 논문과 코드를 참고하였습니다. https://paperswithcode.com/paper/self-explaining-structures-improve-nlp-models 를 참고하면 좋을 것 같습니다.