분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
PublicLB | 0.902 | Finetuning Roberta: IB + RBERT
안녕하세요,
KLUE NLI 대회에는 모델 두 개를 사용했으며, 최종 제출물로 두 모델 결과값을 Softvoting Ensemble하여 제출했습니다.
(1) Tunib's KoElectra-base finetuned with Arcface Head
(2) KLUE Roberta-large finetuned with sentence pooling embeddings and special token embeddings
Roberta를 finetuning 할 때는 두 개의 논문을 혼합해보았습니다.
1) An Improved Baseline for Sentence-level Relation Extraction
2) Enriching Pre-trained Language Model with Entity Information for Relation Classification
모델 구조를 요약하자면 문장의 Global Average Pooling과 Special Token을 모두 사용하는 것입니다.
두 논문에 대한 빌드업과 자세한 설명을 보고 싶으시다면, 다음 링크에서 더 자세하게 보실 수 있습니다.
https://dacon.io/competitions/official/235875/codeshare/4589?page=1&dtype=recent
읽으시면서 생기는 궁금하신 부분을 알려주신다면, 곧 저에게도 배울 기회가 될 것 같습니다.
감사합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved