한국어 문서 추출요약 AI 경진대회

알고리즘 | 텍스트 | 생성요약 | 언어 | ROUGE-N

상금 : 총 1,000만원
1,175명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[한국어 문서 요약 AI 경진대회] 데이터 EDA 파일 공유 드립니다.

uoneway

2020.12.22 08:52 8,651 조회 language

대회는 끝났지만 텍스트요약 과업 수행을 위해
본 대회 데이터 특성을 살펴보고자 하시는 분들이 계실 것 같아
대회 기간 동안 수행했던 데이터 EDA 파일을 공유합니다.
https://github.com/uoneway/PreSumm_ko/blob/master/tutorials/EDA.ipynb

살펴본 주요 데이터 특성은 다음과 같습니다.
- media 분포
- 원문(article_original), 생성요약 정답(abstractive), 추출요약 정답(extractive) 각각에 대한 sentence/word 분포
- 원문 대비 생성요약 정답과 추출요약 정답 각각의 Novel N-gram 비율 분포
- 원문, 생성요약 정답, 추출요약 정답 내 키워드 bi-gram 분포

코드