월간 데이콘 발화자의 감정인식 AI 경진대회

알고리즘 | 언어 | 분류 | Macro f1 score

  • moneyIcon 상금 : 인증서
  • 656명 마감

 

[PRIVATE 1위, score : 0.57281] emoberta-large ensemble 모델

2022.12.13 17:31 2,312 조회 language

baseline 코드를 기반으로 작성하였습니다.
emoberta-large모델에서 마지막 layer을 랜덤성을 위해 identity layer로 치환하였습니다.
Dataset Load를 할 때, 동시에 model을 Load하여, 학습속도를 빠르게 하였습니다.

학습환경은 RTX3090Ti 1장을 사용하였습니다. (다른 GPU로 돌릴 때 VRAM이 22GB이상이어야 합니다.)

코드
로그인이 필요합니다
0 / 1000
build
2022.12.15 12:38

'마지막 layer을 랜덤성을 위해 identity layer로 치환' 이 부분을 좀 알려주실 수 있나요!?

EISLab_이희원
2022.12.15 15:21

제가 설명을 잘못적었긴 한데, identity layer은 랜덤성 제거를 위해 사용됩니다.
동일힌 입력에 대해 매번 다른 결과를 출력하는 것을 방지하는 역할을 합니다.