분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[PRIVATE 1위, score : 0.57281] emoberta-large ensemble 모델
baseline 코드를 기반으로 작성하였습니다.
emoberta-large모델에서 마지막 layer을 랜덤성을 위해 identity layer로 치환하였습니다.
Dataset Load를 할 때, 동시에 model을 Load하여, 학습속도를 빠르게 하였습니다.
학습환경은 RTX3090Ti 1장을 사용하였습니다. (다른 GPU로 돌릴 때 VRAM이 22GB이상이어야 합니다.)
제가 설명을 잘못적었긴 한데, identity layer은 랜덤성 제거를 위해 사용됩니다.
동일힌 입력에 대해 매번 다른 결과를 출력하는 것을 방지하는 역할을 합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
'마지막 layer을 랜덤성을 위해 identity layer로 치환' 이 부분을 좀 알려주실 수 있나요!?