[신규 오픈 기념] 데이스쿨 최대 40% 할인 🎁
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
아래 다른 게시물에도 연관된 질문이 있어서 함께 정리해 주셨으면 합니다. BERT와 같은 모델을 사용할 때:
(1) 사전학습 된 BERT를 대회 데이터로 추가 학습 (fine-tuning)하지 않고 임베딩 레이어와 같이 사용
(2) 사전학습 되지 않은 BERT를 대회 데이터로 새로 학습하여 사용
(3) 사전학습 된 BERT를 대회 데이터로 추가 학습 (fine-tuning)하여 사용
이 중 (3)번과 같이 사용하는 것은 금지가 확실하고, (2)번은 위 답변에서 가능하다고 하셨는데, (1)번의 경우는 어떤가요?
저도 1번 궁금합니다. 답변 가능할까요?
안녕하세요 작성자님.
내부 협의 결과 1번의 경우 사용이 가능합니다.
즉, BERT와 같은 문맥 임베딩 모형에서 fine tuning을 거치지 않고 임베딩 레이어를 사용하는 것은 가능합니다.
감사합니다.
데이콘 드림.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요 Toona_at_08Liter님
사전 학습 모델의 사용은 금지이며
가중치가 모두 초기화 된 모델의 '구조'만을 사용하여
제공된 데이터를 이용한 학습은 가능합니다.
감사합니다.
데이콘 드림