분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
기본 모델링을 활용한 재현 score public : 0.8828
* Mecab Tokenizer를 활용하였습니다.
* Conv1D, LSTM 등 다양한 layer를 사용하였습니다.
* 4개의 모델을 최종적으로 앙상블 하였습니다.
+a) 더 다양한 토크나이저, 전처리를 통해 만든 모델들로 앙상블 한다면 더 좋은 성능을 기록하지 않을까 싶네요..
청원 관련 텍스트라 띄어쓰기 혹은 문법이 부정확한 텍스트들이 많은데
soyspacing 패키지와 py-hanspell 패키지를 사용하면 정제된 데이터를 구축하고
모델링에 사용할 수 있을 것이라고 생각됩니다.
또는 bert classfication을 같이 사용하면 좀 더 우수한 성능을 기록할 것 같습니다.
저는 bert를 같이 사용해서 score를 0.8858까지 올렸는데 파일 관리 실패로 bert 코드가 다 날아갔네요...
아무튼 해당 데이터로 공부하시는 분들에게 도움이 되셨으면 좋겠습니다. 감사합니다.
오타 수정합니다.
vocab_size = total_cnt - rare_cnt + 1 # 전체 단어 개수 중 빈도수 2이하인 단어 개수는 제거. 0번 패딩 토큰을 고려하여 +1
print('단어 집합의 크기 :',vocab_size)
빈도수 2가 아니고 10입니다!
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
감사합니다~