월간 데이콘 소설 작가 분류 AI 경진대회

알고리즘 | NLP | 분류 | 자연어 | LogLoss

  • moneyIcon 상금 : 100만원+애플워치
  • 1,345명 마감

 

Facebook의 fasttext를 이용한 text classification

2020.11.24 22:25 10,174 조회 language

자연어 처리를 찾다보니 fasttext 라는게 있어 이용해봤습니다.
매번 여러분께서 올려주신 코드를 보면서 도움받기만 한 것 같아 올려봅니다.
도움이 될런지 모르겠네요....

코드가 간단해서 별도 설명은 생략했으니 자세한 설명은 아래 링크를 참고하시기 바랍니다.
https://pypi.org/project/fasttext/#important-preprocessing-data-encoding-conventions

코드중 아래 부분을 사용하면 빠른 학습이 가능합니다.
text_clf_model = fasttext.train_supervised('fasttexttrain.txt') #요걸로 돌리면 0.56 정도....

아래는 조금 학습 좀 하는 코드입니다.....
text_clf_model = fasttext.train_supervised('fasttexttrain.txt', epoch=30, minCount=2, maxn=10, verbose=0) #요걸로 돌리면 0.36 정도...

혹시라도 더  개선된 방법이 있다면 공유 부탁드립니다.

그럼 좋은 결과 있기를 바랍니다.

코드
로그인이 필요합니다
0 / 1000
당쇠
2020.11.24 22:29

감사합니다. 유명한 패키지죠~

DACON.ZERO
2020.11.25 10:01

오 ... 적용해 봐야겠네요 감사합니다!!