AI 기반 회의 녹취록 요약 경진대회

1. 제출 횟수 및 팀 최대 인원

• 1일 최대 제출 횟수 : 3회
• 팀 최대 인원 : 3명

2. 평가 방식

• 1차 평가 : Private리더보드 상위 10팀 선발
• 본대회에서는 모델이 예측한 생성요약문과 사람이 생성한 요약문의 ROUGE-N에 대한 F1 SCORE를 사용

• 채점 기준: ROUGE-1(점수1), ROUGE-2(점수2), ROUGE-L(점수3)
• Public Score : 테스트 데이터 중 랜덤 샘플 50%로 채점, 대회 기간 중 공개
• Private Score : 테스트 데이터 중 나머지 50%로 채점, 대회 종료 후 공개(1차 평가 순위 기준)
• 순위 기준
• 3가지 지표에대한 개별 순위의 합산 오름차순( ex - ROUGE-1:1위, ROUGE-2:3위, ROUGE-L:2위 => 1+3+2=6점)
• 합산 점수 동률시 제출 시간 오름차순
• 2차 평가 : 온라인 대면 평가, 상위 3팀 수상

[평가 항목]

• 모델 성능

- 리더보드 Private 점수 : 40

- HARD EXAMPLE 점수 : 20

• 적용 가능성

- 동작 속도 : 10

- 모델&데이터 로딩 후 데이터 전처리 ~ 추론(batch size:1) ~ 결과 저장 시간 측정

• 아이디어

- 발표 내용, 질의 응답 : 20

- 모델 창의성 / 모델의 한계 분석 등

• (가산점) 추가 개선의 아이디어 제시 : 10

3. 학습 및 추론

• 누구나 사용할 수 있는 공개된 외부 데이터는 활용할 수 있으나, 추가로 사용한 데이터를 반드시 명시해야 함 
• 대회 공개 시점(2021년 9월 13일 전)에 누구나 다운로드하여 활용이 가능한 공개된 사전학습 모델 사용 가능 (Google Multilingual BERT, KorBERT, KoBERT, KoGPT2, KoBART 등)
• 대회 공개 시점 및 진행기간동안 공개되어 있지 않은 사전학습 모델 사용 시 실격
• 코드와 체크포인트가 모두에게 공개되어 있는 사전학습된 체크 포인트에 한하여 fine-tuning을 통한 활용 가능
• 단, 제출한 모델은 Google Colab 무료 환경 (GPU:K80 / 메모리 12GB)에서 추론이 가능해야 함. (해당 환경에서 추론 불가 시 실격 처리)

4. 제출 파일

• 대회 종료 후 평가 대상자는 코드와 PPT를 제출

- 코드에 '/data' 데이터 입/출력 경로 포함

- 코드 파일 확장자 : .R, .rmd, .py, .ipynb

• 코드 제출 유의 사항

- 코드 인코딩 : UTF-8

- 개발환경(OS) 및 라이브러리 버전 기재

- 전체 실행 프로세스 및 코드 실행 방법을 readme 파일로 정리해서 제출

- 코드에 대한 주석을 일일이 달 필요는 없으나, 실행 방법대로 실행 시 모든 코드가 오류 없이 실행되어야 합니다.

(라이브러리 로딩 코드 포함)

• PPT 제출 유의사항

- 데이터 전처리 / 모델링에 대한 간략한 설명 

- (사용했을 시) 추가 데이터셋 혹은 Pre-trained 모델 명시

5. 개인 및 팀 병합 규정

• 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
• 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
• 하나의 대회는 하나의 팀으로만 등록 가능
• 팀 병합 후 해체 및 개인 참가 불가
• 팀의 수상 요건 충족시 팀의 대표가 수상

6. 유의 사항

• 사용 가능 언어 : Python, R
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점받고 싶은 파일을 선택해야 함(최대 2개 선택 가능)
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 2차 평가(온라인 대면 평가) 후 수상자가 결정 됨
• 데이콘은 타팀과의 비공개 공유, 다중 계정 사용 등 부정행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한될 수 있음. 자세한 사항은 아래 링크 참고

https://dacon.io/notice/notice/13