분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Private 26위, 0.8559] RoBERTa (ver.TensorFlow)
안녕하세요 :)
Text Dataset만 사용하여 학습했습니다.
최종 private score는 공유드린 code를 ensemble 하여 제출했습니다.
1. Preprocessing
1) Text cleaning
- Extract Korean only
- Remove double spaces
2) Text correcting
- hanspell
2. Modelling
1) RoBERTa
- "klue/roberta-large"
3. Training
- LearningRateScheduler
- 3 fold soft voting ensemble
감사합니다.
공유 드린 code는 0.83~4 정도의 성능으로 기억하고 있습니다.
학습에 사용한 GPU는 A6000으로 argument는 default 값과 동일합니다.
실험을 하실 때 batch_size 값이 32보다 작은지 확인해 보시기 바랍니다.
또한, learning_rate를 조절하셔서 초기 epoch에서도 loss가 감소하고 f1_score가 증가하는지 확인하시기 바랍니다.
감사합니다 :)
공유 감사드립니다~~
혹시 training하는데 얼마나 걸리셨나요?
3~4시간 정도 학습하여 제출했던 것으로 기억합니다!
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요 코드 공유해주셔서 감사드립니다.
저는 머신러닝 초보이고 데이콘 입문자입니다 공유 주신 코드 실행 시 epoch30까지도 f1_score가 0.07~0.08에서 상승하지 않는데
해당 코드가 참고적인 코드일뿐 베이스라인 코드로는 실제 0.85정도까지 학습될 수 있는 코드가 아닌것인가요?
아래의 다른 공유 코드 또한 마찬가지여서 질문을 드립니다.