Korean Document Generation Summary AI Competition

Algorithm | NLP | Abstractive text summarization | language | ROUGE-N

10,000,000 KRW
635 Users Completed

Practice

Overview Data Code (share) Talk Leaderboard

Submission

[한국어 문서 요약 AI 경진대회] 데이터 EDA 파일 공유합니다.

uoneway

2020.12.22 09:02 8,906 Views language

대회는 끝났지만 텍스트요약 과업 수행을 위해
본 대회 데이터 특성을 살펴보고자 하시는 분들이 계실 것 같아
대회 기간 동안 수행했던 데이터 EDA 파일을 공유합니다.
https://github.com/uoneway/PreSumm_ko/blob/master/tutorials/EDA.ipynb

살펴본 주요 데이터 특성은 다음과 같습니다.
- media 분포
- 원문(article_original), 생성요약 정답(abstractive), 추출요약 정답(extractive) 각각에 대한 sentence/word 분포
- 원문 대비 생성요약 정답과 추출요약 정답 각각의 Novel N-gram 비율 분포
- 원문, 생성요약 정답, 추출요약 정답 내 키워드 bi-gram 분포

Code