분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
public:17위 private:17위 klue-bert-base 모델
안녕하세요. 붕어입니다.
두번째 dacon competition에 도전하는 과정에서 많은 것을 배울 수 있었습니다.
이번 대회 과정에서 제가 새로 배운 것들을 공유하려고 합니다.
아직 많이 부족하니 편하게 봐주시길 부탁드립니다.
저는 hugging face에 올라와 있는 skt/kobert-base-v1, klue/bert-base, klue/roberta-base, klue/roberta-large 모델을 사용하여 학습을 진행했습니다.
여러가지 학습을 진행한 결과 klue/bert-base 모델의 성능이 가장 좋다고 판단되어 klue/bert-base모델을 사용하였습니다.
그리고 transformers에서 제공하는 Trainer를 사용하여 hyperparameter_search()를 진행했습니다.
그 과정에서 hyperparameters={'learning_rate': 7.941920339973838e-05, 'num_train_epochs': 1, 'seed': 27, 'per_device_train_batch_size': 64})일 때,
성능이 {'eval_loss': 0.30922931432724, 'eval_accuracy': 0.8917971744606287, 'epoch': 1.0} 로 가장 높게 나와 제출하였고
public score : 0.86966를 달성할 수 있었습니다.
public 17위, private 17위로 대회 마감했습니다.
아래 코드는 제가 한 방식을 재현한 코드입니다.
감사합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved