Monthly Daycon Speaker's Emotional Recognition AI Competition

Algorithm | NLP | Classification | Macro f1 score

 

[PRIVATE 1위, score : 0.57281] emoberta-large ensemble 모델

2022.12.13 17:31 4,166 Views language

baseline 코드를 기반으로 작성하였습니다.
emoberta-large모델에서 마지막 layer을 랜덤성을 위해 identity layer로 치환하였습니다.
Dataset Load를 할 때, 동시에 model을 Load하여, 학습속도를 빠르게 하였습니다.

학습환경은 RTX3090Ti 1장을 사용하였습니다. (다른 GPU로 돌릴 때 VRAM이 22GB이상이어야 합니다.)

Code
Login Required
0 / 1000
bookbuild
2022.12.15 12:38

'마지막 layer을 랜덤성을 위해 identity layer로 치환' 이 부분을 좀 알려주실 수 있나요!?

EISLab_이희원
2022.12.15 15:21

제가 설명을 잘못적었긴 한데, identity layer은 랜덤성 제거를 위해 사용됩니다.
동일힌 입력에 대해 매번 다른 결과를 출력하는 것을 방지하는 역할을 합니다.