제1회 국민대학교 AI빅데이터 분석 경진대회

알고리즘 | 정형 | 추천시스템 | Recall

  • moneyIcon Prize : 400 만원
  • 1,171명 마감

 

이런 텍스트는 어떻게 처리하는게 좋을까요,,

2023.10.18 17:37 2,368 Views

이런 식으로 의미가 완전히 같은데 다르게 써있는 텍스트는 어떤 방식으로 처리하는게 효과적일까요?


로그인이 필요합니다
0 / 1000
EISLab_이희원
2023.10.18 17:44

텍스트 임베딩해서 클러스터링 하는 방법이 있습니다.

파이썬초보만
2023.10.20 14:36

적절한 토큰화(n gram, mecab 등) 한 후 tf-idf 하는 방법도 생각해 볼 수 있을것 같습니다.