한국어 문서 추출요약 AI 경진대회

알고리즘 | 텍스트 | 생성요약 | 언어 | ROUGE-N

상금 : 총 1,000만원
1,174명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

평가방식에 대한 문의드립니다.

리엔

2020.11.27 17:16 2,877 조회

다른 팀들도 약간 의아해하시는 부분이 있는 것 같아서 한 번 더 문의드립니다.

답변 주신대로 이해하자면 추출된 '요약문1+요약문2+요약문3' 과 사람이 만들어낸 요약문 (데이터 내의 gold abstractive로 제시) 간에 rouge score를 평가하시는 것 같습니다.

그렇다면 extractive의 gold로 제시된 세 요약문의 연결이 gold abstractive와 rouge f1 score를 최대화하는 조합이어야 할텐데 어떤 경우에는 그렇지가 않습니다.

그렇다고 하면 gold로 제시된 extractive index가 무슨 의미를 가지고 있는지 궁금합니다.

이미 고려하고 계신 문제인건지요?

댓글 2개

로그인이 필요합니다

comment

0 / 1000

DACONIO

2021.12.22 14:19

안녕하세요 리엔님.

일반적으로 추출요약 레이블은 생성요약 정답문을 바탕으로 루지스코어가 가장 높은 오라클 서머리를 만들어서 이를 통해 학습을 수행합니다(ex. CNN/DM).
따라서 오라클 서머리를 생성할 수 있도록 생성요약 정답문을 제공한 것이고 여기에 더해 루지스코어와 상관 없이 사람이 선택한 추출요약문도 추가로 제공하였습니다.
단 저희는 일반적으로 추출요약 모델의 성능을 평가하는 방식인 (추출요약문 vs 생성요약정답문) 루지스코어를 평가방식으로 채택했기 때문에 사람이 선택한 추출요약문은 평가에는 사용되지 않습니다.

감사합니다.
데이콘 드림.