DACON
search 구독
알림 0

    MY XP

    XP 안내

    LEVEL 1

    다음 레벨까지 150 XP

    0/150 XP

    오늘의 XP

    0 / 800

    전체 XP

    0

    적립 XP

    0

    사용 XP

    0
    dacon logo

    SNS 계정으로 로그인

    google 구글 로그인
    facebook 페이스북 로그인
    아직 데이콘 계정이 없나요? 회원가입
    메일 인증 필요

    로그인 하시려면 아래 이메일로 인증이 필요합니다. 이메일을 다시 보내시겠습니까?
    [데이콘] 회원가입 인증메일

    데이콘 회원가입을 환영합니다. 메일 인증은 데이콘 회원가입을 위한 필수 절차입니다. 아래 이메일을 인증하여 회원가입 절차를 완료하여 주시기 바랍니다.
    이용약관

    이전 이용약관 보러가기 >
    개인정보 처리방침
    마케팅 정보 수신 동의
    게시글이 없습니다
    댓글 4개
    로그인이 필요합니다
    0 / 1000
    DACONIO
    2021.12.22 14:19

    안녕하세요 작성자님.

    추출요약의 경우 모델이 추출한 요약문과 사람이 생성한 생성요약문과의 ROUGE 스코어를 계산합니다. 
    현재 대표적인 영어 벤치마크 데이터셋인 CNN/DM 경우에도 위와 같은 방식으로 스코어를 계산하고 있습니다. 
    만약 정답 추출요약문과의 스코어를 계산한다면 단순히 classification에 해당하는 스코어(accuracy) 와 같은 다른 지표를 사용하는 것이 더 낫다고 생각합니다. 
    해당 태스크는 요약에 관한 것이기 때문에 사람이 생성한 요약문과 비교하는것이 더 타당하다고 판단됩니다.

    감사합니다.
    데이콘 드림.

    Ynot
    2020.11.23 17:51

    넵 감사합니다. 한가지 더 궁금한점이 있는데요.
    이렇게 되면 추출요약과 생성요약 별개의 대회에 추출요약 결과만 내면 점수가 동일하게 나올텐데 이런식으로 제출해도 되는 것인가요? 아니면 평가할 때 생성요약인지 추출요약인지 구분하는 프로세스가 있을까요?

    DACONIO
    2020.11.23 19:12

    submission 제출단계에서 자동확인은 안되나 최종 평가 단계에서 추출요약 결과를 생성요약 제출했을 경우 수상에서 제외되며 반대의 경우도 제외됩니다.

    Ynot
    2020.11.24 14:24

    넵 이해했습니다. 감사합니다.

    📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!
    to_list 목록으로
    이전 글
    이전 글이 존재하지 않습니다.
    현재 글
    [Dacon 답변 요청] 평가방식에 대한 문의
    대회 - 한국어 문서 추출요약 AI 경진대회
    좋아요 6
    조회 2,549
    댓글 4
    3년 전
    다음 글
    다음 글이 존재하지 않습니다.