분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Private 2위] Klue-RoBERTa + RegNetY120 + MultiModal Ensemble
안녕하세요. Not Bad Team 코드 공유합니다.(TensorFlow 활용)
저희는 저희가 고안한 Text 증강 데이터를 학습과 검증에 이용했고, Optimizer Sam(Sharpness-Aware Minimization)을 이용해 성능 향상에 효과를 봤습니다.
여러 방식으로 증강한 데이터, 다양한 Optimizer, 기타 전처리 방법을 다양하게 적용한 결과값들을 앙상블 하는 방식으로 사용했으며, 지금 공유하는 코드에는 다 넣지 않았지만 실제로는 몇 십 개의 결과값을 Voting 하여 F1 Score를 올렸습니다.
텍스트는 주로 klue-RoBERTa(Large), 이미지는 RegNetY120 을 활용했고, 멀티모달의 경우 HJOK님께서 공유해주신 New-Baseline Model에서 옵티마이저 정도만 변형해보는 식으로 결과를 뽑아서 Voting 에 활용했습니다.
(텍스트 증강에 사용한 형용사, 부사어, 유의어 목록은 구글드라이브 주소를 첨부하였고, 코드 정리가 다소 미숙해서 보기 어려우시면 피피티를 통해 어떤 방법 사용했나 정도 확인하시면 될 것 같습니다.)
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved