임베딩단계에 사전학습모델이 사용가능한가요?

월간 데이콘 소설 작가 분류 AI 경진대회

2020.11.11 20:08 5,681 조회

globe나 워드투벡등을 사용해도되나요??

전처리단계까지는 사전학습을 사용해도된다고 하셨는데,

전처리에 누구는 임베딩을 포함시키고 다른분은

포함아니라고하고..

헷갈리네요.

로그인이 필요합니다

comment

0 / 1000

DACON.ZERO

2020.11.12 10:05

안녕하세요 3중대 3소대장님

해당 대회에서는 모델 학습 단계에서 사전 학습된 모델 학습이 불가하나

전처리 단계에서는 사용 가능하십니다.

내부 회의 결과 임베딩은 전처리에 해당한다고 보았습니다.

감사합니다.

데이콘 팀 드림

isleof

2020.11.20 16:51

삭제된 댓글입니다

isleof

2020.11.16 17:14

근데 그렇다면 버트의 결과물도 임베딩 아닌가요? BERT 임베딩에 간단한 Dense (linear) layer를 사용하지 않습니까? 제 생각에는 fastText나 GloVe 사용이 가능하다고 말씀하시는 것 같지만 엄밀히 말하자면....

hahaha

2020.11.17 09:18

bert가 안된다고 하신적이 없는 것같은데... fasttext나 glove에서 사전학습 임베딩 데이이터를 사용하는 건 되고, bert를 사용하는 건 안된다고 명시된 것도 아닌데 그냥 임베딩 단계까지 알아서 사용하면 되는 것 아닐까요?

현재 글

임베딩단계에 사전학습모델이 사용가능한가요?

대회 - 월간 데이콘 소설 작가 분류 AI 경진대회

4년 전