한국어 문서 생성요약 AI 경진대회

알고리즘 | 텍스트 | 생성요약 | 언어 | ROUGE-N

  • moneyIcon 상금 : 총 1,000만원
  • 629명 마감

규칙


1. 평가

  • 본대회에서는 모델이 예측한 생성요약문과 사람이 생성한 요약문의 ROUGE-N에 대한 F1 SCORE를 사용함

  • 채점 기준: ROUGE-1(점수1), ROUGE-2(점수2), ROUGE-L(점수3)
  • 순위 기준

- 3가지 지표에대한 개별 순위의 합산 오름차순( ex - ROUGE-1:1위, ROUGE-2:3위, ROUGE-L:2위 => 1+3+2=6점)

- 합산 점수 동률시 제출 시간 오름차순

  • 1차 평가(Public Score): 테스트 데이터 중 랜덤 샘플 된 50%로 채점, 대회 기간 중 공개
  • 2차 평가(Private Score): 나머지 50 % 테스트 데이터로 채점, 대회 종료 직후 공개
  • 최종 순위는 선택된 파일 중에서 채점되므로, 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함. (최종 파일 미선택시 Public 점수가 가장 높은 파일로 자동 선택됨)
  • 대회 직후 공개되는 Private Score 랭킹은 최종 순위가 아니며, 코드 검증 후 최종 수상자가 결정됨



2. 개인 또는 팀 참여 규칙

  • 개인 또는 팀을 이루어 참여할 수 있습니다.
  • 단체 혹은 기관 참여시 별도의 절차가 필요합니다. (More > 공지사항> 게시글 확인)
  • 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능
  • 팀 구성 방법: 팀 페이지(https://www.dacon.io/competitions/official/235673/team/)에서 팀 구성 안내 확인
  • 팀 최대 인원: 5 명

                   * 동일인이 개인 또는 복수팀에 중복하여 등록 불가.

 

3. 외부 데이터 및 사전 학습 모델

  • 외부 데이터 사용이 불가합니다. 
  • 공개된 Pre-trained 모델을 사용가능하나, ETRI-BERT, SKT-BERT, SKT-GPT로 한정합니다.

* 모델의 선정 기준은 학습에 사용된된 데이터 및 모델의 상업적 활용 가능여부 검토 후 결정되었습니다.


4. 코드 및 PPT 제출 규칙

  • 대회 종료 후 평가 대상자는 아래의 양식에 맞추어 코드와 PPT를 dacon@dacon.io로 기한 내에 제출

- 코드에 ‘/data’ 데이터 입/출력 경로 포함

- 코드 파일 확장자: .R, .rmd, .py, .ipynb

- 코드와 주석 인코딩: UTF-8

- 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

- 전체 프로세스를 가독성 있게 정리하고 주석을 포함하여 하나의 파일로 제출

- 개발 환경(OS) 및 라이브러리 버전 기재


5. 유의 사항

  • 1일 최대 제출 횟수: 3회
  • 사용 가능 언어: Python, R
  • 모델 학습에서 검증 혹은 평가 데이터셋 활용(Data Leakage)시 실격
  • 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함
  • 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
  • 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다. https://dacon.io/notice/notice/13


6. 토론(질문)

  • 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
  • * 데이콘 답변을 희망하는 경우 토론 제목에 [DACON 답변 요청] 문구를 넣어 질문을 올려 주시기 바랍니다. 예) [DACON 답변 요청] 시상식은 언제 열리나요?

대회 주요 일정

  1. 11.04

    명세 및 데이터 공개

  2. 11.11

    대회 시작

  3. 12.09

    팀 병합 마감

  4. 12.09

    대회 종료 &
    코드제출 시작

  5. 12.13

    코드 제출 마감

  6. 12.21

    최종 순위 발표

규칙


1. 평가

  • 본대회에서는 모델이 예측한 생성요약문과 사람이 생성한 요약문의 ROUGE-N에 대한 F1 SCORE를 사용함

  • 채점 기준: ROUGE-1(점수1), ROUGE-2(점수2), ROUGE-L(점수3)
  • 순위 기준

- 3가지 지표에대한 개별 순위의 합산 오름차순( ex - ROUGE-1:1위, ROUGE-2:3위, ROUGE-L:2위 => 1+3+2=6점)

- 합산 점수 동률시 제출 시간 오름차순

  • 1차 평가(Public Score): 테스트 데이터 중 랜덤 샘플 된 50%로 채점, 대회 기간 중 공개
  • 2차 평가(Private Score): 나머지 50 % 테스트 데이터로 채점, 대회 종료 직후 공개
  • 최종 순위는 선택된 파일 중에서 채점되므로, 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함. (최종 파일 미선택시 Public 점수가 가장 높은 파일로 자동 선택됨)
  • 대회 직후 공개되는 Private Score 랭킹은 최종 순위가 아니며, 코드 검증 후 최종 수상자가 결정됨



2. 개인 또는 팀 참여 규칙

  • 개인 또는 팀을 이루어 참여할 수 있습니다.
  • 단체 혹은 기관 참여시 별도의 절차가 필요합니다. (More > 공지사항> 게시글 확인)
  • 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능
  • 팀 구성 방법: 팀 페이지(https://www.dacon.io/competitions/official/235673/team/)에서 팀 구성 안내 확인
  • 팀 최대 인원: 5 명

                   * 동일인이 개인 또는 복수팀에 중복하여 등록 불가.

 

3. 외부 데이터 및 사전 학습 모델

  • 외부 데이터 사용이 불가합니다. 
  • 공개된 Pre-trained 모델을 사용가능하나, ETRI-BERT, SKT-BERT, SKT-GPT로 한정합니다.

* 모델의 선정 기준은 학습에 사용된된 데이터 및 모델의 상업적 활용 가능여부 검토 후 결정되었습니다.


4. 코드 및 PPT 제출 규칙

  • 대회 종료 후 평가 대상자는 아래의 양식에 맞추어 코드와 PPT를 dacon@dacon.io로 기한 내에 제출

- 코드에 ‘/data’ 데이터 입/출력 경로 포함

- 코드 파일 확장자: .R, .rmd, .py, .ipynb

- 코드와 주석 인코딩: UTF-8

- 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

- 전체 프로세스를 가독성 있게 정리하고 주석을 포함하여 하나의 파일로 제출

- 개발 환경(OS) 및 라이브러리 버전 기재


5. 유의 사항

  • 1일 최대 제출 횟수: 3회
  • 사용 가능 언어: Python, R
  • 모델 학습에서 검증 혹은 평가 데이터셋 활용(Data Leakage)시 실격
  • 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 함
  • 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
  • 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다. https://dacon.io/notice/notice/13


6. 토론(질문)

  • 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
  • * 데이콘 답변을 희망하는 경우 토론 제목에 [DACON 답변 요청] 문구를 넣어 질문을 올려 주시기 바랍니다. 예) [DACON 답변 요청] 시상식은 언제 열리나요?

대회 주요 일정

  1. 11.04

    명세 및 데이터 공개
  2. 11.11

    대회 시작
  3. 12.09

    팀 병합 마감
  4. 12.09

    대회 종료 & 코드제출 시작
  5. 12.13

    코드 제출 마감
  6. 12.21

    최종 순위 발표