월간 데이콘 한국어 문장 관계 분류 경진대회

알고리즘 | NLP | 분류 | 자연어 | Accuracy

상금 : 100만원 + α
1,326명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

PublicLB | 0.896 | Finetuning Electra with Arcface

snoop2head

2022.03.01 01:25 2,688 조회 language

안녕하세요,
KLUE NLI 대회에는 모델 두 개를 사용했으며, 최종 제출물로 두 모델 결과값을 Softvoting Ensemble하여 제출했습니다.

(1) Tunib's KoElectra-base finetuned with Arcface Head
(2) KLUE Roberta-large finetuned with sentence pooling embeddings and special token embeddings

KoElectra Custom 모델은 Public LB에서 0.896을 기록했습니다.
KLUE Roberta Custom 모델은 Public LB에서 0.902를 기록했습니다.

KoElectra-base는 #params으로 따지면 Roberta-large의 1/3 규모의 작은 모델이며,
Attention Layers 수로 따지면 Roberta-large의 절반 정도 깊이인 모델입니다.
그럼에도 1%p 내외의 정확도로 유사한 성능을 보이는 것이 신기해서 Electra 코드부터 정리하여 올립니다.

읽으시면서 생기는 궁금하신 부분은 곧 저에게도 배울 기회가 될 것 같습니다.
감사합니다.

코드

댓글 2개

로그인이 필요합니다

comment

0 / 1000

세포봇

2022.03.25 15:23

윈도우 10 python=3.7.7 jupyter notebook 환경에서 gluonnlp install 했는데 설치가 되지 않네요.
에러 내용중에 error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools 요것이 있어서 설치도 해봤는데 안되네요 혹시 해결방법을 아시나요?

snoop2head

2022.03.25 22:40

제가 linux/unix 환경에서 개발을 해서 윈도우스는 잘 모릅니다만 ㅠㅠ gluonnlp는 dependency가 아니라서 설치하지 않으셔도 될 듯 합니다!

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!