분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Private 2위] Klue-RoBERTa + RegNetY120 + MultiModal Ensemble
공동작성자
안녕하세요. Not Bad Team 코드 공유합니다.(TensorFlow 활용)
저희는 저희가 고안한 Text 증강 데이터를 학습과 검증에 이용했고, Optimizer Sam(Sharpness-Aware Minimization)을 이용해 성능 향상에 효과를 봤습니다.
여러 방식으로 증강한 데이터, 다양한 Optimizer, 기타 전처리 방법을 다양하게 적용한 결과값들을 앙상블 하는 방식으로 사용했으며, 지금 공유하는 코드에는 다 넣지 않았지만 실제로는 몇 십 개의 결과값을 Voting 하여 F1 Score를 올렸습니다.
텍스트는 주로 klue-RoBERTa(Large), 이미지는 RegNetY120 을 활용했고, 멀티모달의 경우 HJOK님께서 공유해주신 New-Baseline Model에서 옵티마이저 정도만 변형해보는 식으로 결과를 뽑아서 Voting 에 활용했습니다.
(텍스트 증강에 사용한 형용사, 부사어, 유의어 목록은 구글드라이브 주소를 첨부하였고, 코드 정리가 다소 미숙해서 보기 어려우시면 피피티를 통해 어떤 방법 사용했나 정도 확인하시면 될 것 같습니다.)
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved