자연어 기반 기후기술분류 AI 경진대회

bert쪽은 0.77~8정도나왔고 ML쪽은 0.75정도 나와던 걸로 기억이 납니다. 모델들 서로 찍은 내용들이 다양하게 나와 앙상블 했을 때 많이 올라간 것 같습니다. 

삭제된 댓글입니다

저도 이 부분에 대해 이유는 자세히는 모르겠지만 토큰 별 셀프어텐션 스코어 등을 보고 잠정적으로 내린 결론은 
어체가 다른 부분(해당 데이터가 문어체, 구어체와 또 다른 형태)이라 판단하여 multilingual을 활용하였습니다. 

저도 bert-multilingual 와 xlm-roberta를 사용해서 비슷한 싱글 모델 f1 score 를 얻었습니다. 
저의 경우는 huggingface 에서 제공되는 multi-lingual pertained model이 이 2가지 종류 밖에 없었기 때문에 사용하게 되었습니다.
'bert-base-multilingual-cased' 와 'xlm-roberta-base'