평가방식 다시 한번 문의 드립니다.

#한국어 문서 추출요약 AI 경진대회
  • day2020.11.20 15:42
  • views137 views
  • writer by Acm
댓글 1

추출 요약 에서 한문서에서 중요한 문장 3개를 추출 예( 요약 1 , 요약 2 , 요약3)하고

한문서의 정답으로 주어진 (정답1,정답2,정답3) 을 이용해서 ROUGE 스코어를 구하는데 있어서


"요약1. 요약 2. 요약3." "정답1. 정답2. 정답3." 이렇게 요약문과 정답 문장을 합해서 한번에 ROUGE 스코어를 구하는게 맞는 건가요??



댓글 1개
  • DACONIO DACONIO 2020.11.20 16:34
    안녕하세요.
    평가는 extractive가 아니라 abstractive에 해당하는 요약문을 정답으로 사용하며 abstractive는 정답1 정답2 정답3 과 같이 문장이 나눠져서 구성되어있지 않습니다.
    따라서 "요약1. 요약 2. 요약3." "정답(abstractive)" 둘 간의 ROUGE스코어를 계산합니다.
로그인이 필요합니다로그인이 필요합니다
목록으로