월간 데이콘 뉴스 토픽 분류 AI 경진대회

안녕하세요. 붕어입니다.
두번째 dacon competition에 도전하는 과정에서 많은 것을 배울 수 있었습니다. 

이번 대회 과정에서 제가 새로 배운 것들을 공유하려고 합니다. 
아직 많이 부족하니 편하게 봐주시길 부탁드립니다. 

저는 hugging face에 올라와 있는 skt/kobert-base-v1,  klue/bert-base, klue/roberta-base, klue/roberta-large 모델을 사용하여 학습을 진행했습니다.
여러가지 학습을 진행한 결과 klue/bert-base 모델의 성능이 가장 좋다고 판단되어 klue/bert-base모델을 사용하였습니다.
그리고 transformers에서 제공하는 Trainer를 사용하여 hyperparameter_search()를 진행했습니다. 

그 과정에서  hyperparameters={'learning_rate': 7.941920339973838e-05, 'num_train_epochs': 1, 'seed': 27, 'per_device_train_batch_size': 64})일 때,
성능이 {'eval_loss': 0.30922931432724, 'eval_accuracy': 0.8917971744606287, 'epoch': 1.0} 로 가장 높게 나와 제출하였고 
public score : 0.86966를 달성할 수 있었습니다. 
public 17위, private 17위로 대회 마감했습니다. 

아래 코드는 제가 한 방식을 재현한 코드입니다. 
감사합니다.