한국어 문서 생성요약 AI 경진대회

알고리즘 | 텍스트 | 생성요약 | 언어 | ROUGE-N

  • moneyIcon 상금 : 총 1,000만원
  • 619명 마감

 

[공지] 평가 산식 오류 수정 공지

2020.12.03 17:37 3,164 조회

안녕하세요. 데이콘입니다.


적용중인 코드에서 오류가 발견되어 주최측과 논의하여 해당 오류를 수정 적용하였습니다.


제출하신 파일 모두 재채점이 진행중이며 결과 나오는데로 기존 제출물 점수 반영하도록 하겠습니다.


대회 종료가 얼마 남지 않은 상황에서 산식을 변경하여 대회 참가에 혼란을 드린점 죄송합니다.



[수정 내용]

  1. 기존 평가 산식
  2. HuggingFace에서 사용하는 Rouge 스코어 산출 코드(py-rouge 모듈)를 그대로 사용
  3. 디폴트 언어가 '영어'여서 영어와 숫자를 제외한 다른 언어를 고려하지 않는 문제가 발생
  4. 수정된 평가 산식
  5. py-rouge 소스코드를 한글에 맞게 수정


감사합니다.

데이콘 드림.

로그인이 필요합니다
0 / 1000
student
2020.12.03 20:52

그러면 공개된 평가 코드도 수정이 된건가요? 그것도 업데이트 부탁드립니다. 

DACONIO
2020.12.03 21:01

https://dacon.io/competitions/official/235673/talkboard/401911?page=1&dtype=recent&ptype=pub

수정된 코드입니다.