월간 데이콘 한국어 문장 관계 분류 경진대회

안녕하세요,
KLUE NLI 대회에는 모델 두 개를 사용했으며, 최종 제출물로 두 모델 결과값을 Softvoting Ensemble하여 제출했습니다.

(1) Tunib's KoElectra-base finetuned with Arcface Head
(2) KLUE Roberta-large finetuned with sentence pooling embeddings and special token embeddings

Roberta를 finetuning 할 때는 두 개의 논문을 혼합해보았습니다. 
1) An Improved Baseline for Sentence-level Relation Extraction
2) Enriching Pre-trained Language Model with Entity Information for Relation Classification

모델 구조를 요약하자면 문장의 Global Average Pooling과 Special Token을 모두 사용하는 것입니다.
두 논문에 대한 빌드업과 자세한 설명을 보고 싶으시다면, 다음 링크에서 더 자세하게 보실 수 있습니다.
https://dacon.io/competitions/official/235875/codeshare/4589?page=1&dtype=recent

읽으시면서 생기는 궁금하신 부분을 알려주신다면, 곧 저에게도 배울 기회가 될 것 같습니다.
감사합니다.