게시글이 없습니다
로그인이 필요합니다
0 / 1000
DACONIO
2021.12.22 10:46

안녕하세요 Toona_at_08Liter님

사전 학습 모델의 사용은 금지이며

가중치가 모두 초기화 된 모델의 '구조'만을 사용하여 

제공된 데이터를 이용한 학습은 가능합니다.

감사합니다.
데이콘 드림

LA오빠
2020.11.25 14:47

아래 다른 게시물에도 연관된 질문이 있어서 함께 정리해 주셨으면 합니다. BERT와 같은 모델을 사용할 때:
(1) 사전학습 된 BERT를 대회 데이터로 추가 학습 (fine-tuning)하지 않고 임베딩 레이어와 같이 사용
(2) 사전학습 되지 않은 BERT를 대회 데이터로 새로 학습하여 사용
(3) 사전학습 된 BERT를 대회 데이터로 추가 학습 (fine-tuning)하여 사용

이 중 (3)번과 같이 사용하는 것은 금지가 확실하고, (2)번은 위 답변에서 가능하다고 하셨는데, (1)번의 경우는 어떤가요?

Jay 윤
2020.11.27 23:59

저도 1번 궁금합니다. 답변 가능할까요?

DACONIO
2021.12.22 10:46

안녕하세요 작성자님.

내부 협의 결과 1번의 경우 사용이 가능합니다.
즉, BERT와 같은 문맥 임베딩 모형에서 fine tuning을 거치지 않고 임베딩 레이어를 사용하는 것은 가능합니다.

감사합니다.
데이콘 드림.

이전 글
이전 글이 존재하지 않습니다.
현재 글
사전학습모델(BERT) 사용에 관련한 문의입니다.
대회 - 월간 데이콘 소설 작가 분류 AI 경진대회
좋아요 5
조회 3,438
댓글 4
3년 전
다음 글
다음 글이 존재하지 않습니다.