2022 관광데이터 AI 경진대회

알고리즘 | 비전 | 언어 | 분류 | Weighted f1 score

  • moneyIcon 상금 : 1,000 만원
  • 1,287명 마감

 

[New Baseline] Roberta + ViT (1fold public score 0.8284)

2022.10.12 20:26 3,921 조회 language

기존 베이스라인으로 성능을 높이는데는 힘들거 같아 새로 작성했습니다. 
roberta와 ViT의 last hidden state에 encoder layer를 2개 추가하여 align되도록 학습을 했지만 성능이 text만 썻을때랑 비슷합니다. (layer 갯수를 늘리면 성능이 크게 떨어집니다. 데이터셋 크기가 작은게 가장 문제일꺼라 생각하네요.)
해당 모델을 개선해서 좋은 성과내시면 좋을거같네요.

코드
로그인이 필요합니다
0 / 1000
hhback
2022.10.13 13:19

공유감사합니다 !!! 코드가 정리가 잘 돼 있어서 잘 참고했습니다 ㅎㅎ 남은 기간도 화이팅입니다!

주니필름
2022.10.13 22:20

감사합니다!

statpng
2022.10.14 22:35

좋은 코드 공유 감사드립니다.

문주
2022.10.15 15:27

코드 공유 감사합니다.  30에폭 기준으로 학습 시간은 얼마나 걸리셨나요?