한국어 문서 추출요약 AI 경진대회

알고리즘 | 텍스트 | 생성요약 | 언어 | ROUGE-N

상금 : 총 1,000만원
1,175명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

평가방식 다시 한번 문의 드립니다.

Acm

2020.11.20 15:42 2,475 조회

추출 요약 에서 한문서에서 중요한 문장 3개를 추출 예( 요약 1 , 요약 2 , 요약3)하고

한문서의 정답으로 주어진 (정답1,정답2,정답3) 을 이용해서 ROUGE 스코어를 구하는데 있어서

"요약1. 요약 2. 요약3." "정답1. 정답2. 정답3." 이렇게 요약문과 정답 문장을 합해서 한번에 ROUGE 스코어를 구하는게 맞는 건가요??

댓글 1개

로그인이 필요합니다

comment

0 / 1000

DACONIO

2021.12.22 14:20

안녕하세요 ACM님

평가는 extractive가 아니라 abstractive에 해당하는 요약문을 정답으로 사용하며 abstractive는 정답1 정답2 정답3 과 같이 문장이 나눠져서 구성되어있지 않습니다.
따라서 "요약1. 요약 2. 요약3." "정답(abstractive)" 둘 간의 ROUGE스코어를 계산합니다.

감사합니다.
데이콘 드림.

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

목록으로

[Dacon 답변 요청] 평가방식에 대한 문의

대회 - 한국어 문서 추출요약 AI 경진대회

3년 전

현재 글

평가방식 다시 한번 문의 드립니다.

대회 - 한국어 문서 추출요약 AI 경진대회

3년 전

[DACON 답변 요청] 수정된 규칙(사전학습모델)에 관해 질문합니다.

대회 - 한국어 문서 추출요약 AI 경진대회

3년 전