한국어 문서 추출요약 AI 경진대회

평가 방식

2020.11.12 23:04 4,461 조회

안녕하세요.


각 document 별로 3개의 summary를 "요약1 \n 요약2 \n 요약3 " 으로 제출하면

ROUGE를 해당 요약 전체에 대해 한번에 "골드1 \n 골드2 \n 골드3" 과 비교하나요


아니면 각각 요약1과 골드1, 요약2와 골드2 이런식으로 비교를 하시나요.


데이터에 대한 설명이 부족해서요.

후자의 경우에는 요약문의 순서 및 중요도 또한 고려하는 방법이라서 문의드립니다.

(각각 비교할 경우, 요약 3문장을 맞게하여도 순서가 다르면 ROUGE가 0점에 가까움)





로그인이 필요합니다
0 / 1000
DACONIO
2020.11.13 15:15

안녕하세요.

추출 요약은 현재 정답(골드) 추출 요약문과 ROUGE 스코어를 계산하는 것이 아니라, 정답 생성 요약문과 ROUGE 스코어를 계산합니다.

따라서, 모델이 출력한 "요약1\n요약2\n요약3" 추출요약에 대하여, 정답 생성요약인 "요약문"을 한번에 비교하여 ROUGE 스코어를 계산하는 방식입니다.

Seongung
2020.11.16 11:51

추가로 하나 더 여쭤보겠습니다.
추출 요약에도 여러 방법이 있습니다. word나 phrase단위로 겹치는 것들을 추출해서 문장을 만들거나 아니면 학습데이터의 골드 처럼 완벽히 지문과 겹치는 문장을 만들거나 할 수 있습니다.

제출물은 어떤 방식으로 해야합니까. 학습 데이터에서는 extractive summary를 정확히 모든 단어가 겹치는 완벽한 문장으로 target값을 주셔서요. 제출물에도 그렇게 해야하는거겠죠?

Seongung
2020.11.16 11:51

정리하면 요약문을 지문에 있는 단어를 가지고 추출하는 정도로 해야하는지, 아니면 정확히 문장 단위로 같은 추출문을 해야하는지 궁금해서요. 단어 단위로 추출해서 요약문을 구성하면 굳이 요약문을 3개를 내야하는 이유가 없지 않을까요.
예) 본문: [나는 데이콘 대회에 참여하고 있다. 데이콘 대회는 12월에 끝이나는 대회다.] 
요약: 나는 12월에 끝이나는 데이콘 대회에 참여하고 있다.(잘못된 제출물 예시)
나는 데이콘 대회에 참여하고 있다.(올바른 제출물 예시) -> 이런 방식으로 요약문을 만들어 제출해야 하나요?

DACONIO
2020.11.16 15:29

추출요약은 기사에 있는 문장중 3개를 선택하여 해당 문장 전체를 제출을하셔야합니다.

uoneway
2020.12.01 16:05

추가 질문 드립니다.
혹시 주어진 텍스트에 따라서 추출하는 문장 수를 3개 미만으로 해도 상관 없는지요?
아니면 모든 기사에 대해 무조건 문장 3개를 추출해야 하는지 궁금합니다.