커뮤니티 대회 교육

월간 데이콘 한국어 문장 관계 분류 경진대회

알고리즘 | NLP | 분류 | 자연어 | Accuracy

  • moneyIcon 상금 : 100만원 + α
  • 1,074명 마감

 

PublicLB | 0.896 | Finetuning Electra with Arcface

2022.03.01 01:25 853 조회 language

안녕하세요,
KLUE NLI 대회에는 모델 두 개를 사용했으며, 최종 제출물로 두 모델 결과값을 Softvoting Ensemble하여 제출했습니다.

(1) Tunib's KoElectra-base finetuned with Arcface Head
(2) KLUE Roberta-large finetuned with sentence pooling embeddings and special token embeddings

KoElectra Custom 모델은 Public LB에서 0.896을 기록했습니다. 
KLUE Roberta Custom 모델은 Public LB에서 0.902를 기록했습니다.

KoElectra-base는 #params으로 따지면 Roberta-large의 1/3 규모의 작은 모델이며, 
Attention Layers 수로 따지면 Roberta-large의 절반 정도 깊이인 모델입니다.
그럼에도 1%p 내외의 정확도로 유사한 성능을 보이는 것이 신기해서 Electra 코드부터 정리하여 올립니다.

읽으시면서 생기는 궁금하신 부분은 곧 저에게도 배울 기회가 될 것 같습니다.
감사합니다.

코드
세포봇
2022.03.25 15:23

윈도우 10 python=3.7.7 jupyter notebook 환경에서 gluonnlp install 했는데 설치가 되지 않네요.
에러 내용중에  error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools 요것이 있어서 설치도 해봤는데 안되네요 혹시 해결방법을 아시나요?

snoop2head
2022.03.25 22:40

제가 linux/unix 환경에서 개발을 해서 윈도우스는 잘 모릅니다만 ㅠㅠ gluonnlp는 dependency가 아니라서 설치하지 않으셔도 될 듯 합니다!

로그인이 필요합니다
0 / 1000