2024 용인시와 함께하는 한국외대 SW중심대학 - GBT 해커톤 경진대회

Algorithm | NLP | Classification | Macro F1 Score

 

[PrivateScore 0.66]CNN+LSTM+KoBERT+RoBERTa+KoElectra+KR-BERT

공동작성자
2024.11.05 17:55 514 Views language

EDA를 통한 단어 전처리,
Word2Vec으로 임베딩, 
custom CNN, LSTM,    
'monologg/kobert',  # KoBERT 모델
 'klue/roberta-base', # roberta 모델
 'klue/roberta-small',
 'klue/roberta-large',
 'monologg/koelectra-base-v3-discriminator',  # koelectra 모델
 "snunlp/KR-Medium" # KR-BERT 모델
위 모델들을 앙상블하여
validation dataset에 대한 f1 score를 가중치로 한 Soft voting을 수행하였습니다.

Code