서두르세요! "데이스쿨 40% 할인" 12월 2일까지!
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[PRIVATE 1위, score : 0.57281] emoberta-large ensemble 모델
baseline 코드를 기반으로 작성하였습니다.
emoberta-large모델에서 마지막 layer을 랜덤성을 위해 identity layer로 치환하였습니다.
Dataset Load를 할 때, 동시에 model을 Load하여, 학습속도를 빠르게 하였습니다.
학습환경은 RTX3090Ti 1장을 사용하였습니다. (다른 GPU로 돌릴 때 VRAM이 22GB이상이어야 합니다.)
제가 설명을 잘못적었긴 한데, identity layer은 랜덤성 제거를 위해 사용됩니다.
동일힌 입력에 대해 매번 다른 결과를 출력하는 것을 방지하는 역할을 합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
'마지막 layer을 랜덤성을 위해 identity layer로 치환' 이 부분을 좀 알려주실 수 있나요!?