[신규 오픈 기념] 데이스쿨 최대 40% 할인 🎁
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[New Baseline] Roberta + ViT (1fold public score 0.8284)
기존 베이스라인으로 성능을 높이는데는 힘들거 같아 새로 작성했습니다.
roberta와 ViT의 last hidden state에 encoder layer를 2개 추가하여 align되도록 학습을 했지만 성능이 text만 썻을때랑 비슷합니다. (layer 갯수를 늘리면 성능이 크게 떨어집니다. 데이터셋 크기가 작은게 가장 문제일꺼라 생각하네요.)
해당 모델을 개선해서 좋은 성과내시면 좋을거같네요.
감사합니다!
좋은 코드 공유 감사드립니다.
코드 공유 감사합니다. 30에폭 기준으로 학습 시간은 얼마나 걸리셨나요?
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
공유감사합니다 !!! 코드가 정리가 잘 돼 있어서 잘 참고했습니다 ㅎㅎ 남은 기간도 화이팅입니다!