가스・에너지분야 문서요약 모델개발

1. 평가

1) 공개평가(리더보드)

• Public 리더보드 : 전체 테스트 데이터 중 무작위 50%
• 본대회에서는 모델이 예측한 생성요약문과 사람이 생성한 요약문의 ROUGE-N에 대한 F1 SCORE를 사용합니다.

• 채점 기준: ROUGE-1(점수1), ROUGE-2(점수2), ROUGE-L(점수3)
• 순위 기준

- 3가지 지표에대한 개별 순위의 합산 오름차순( ex - ROUGE-1:1위, ROUGE-2:3위, ROUGE-L:2위 => 1+3+2=6점)

- 합산 점수 동률시 제출 시간 오름차순

2) 1차 평가

• 평가기간: 12월 6일 ~ 12월 10일
• 테스트셋: 가스에너지분야 문서 포함 재배포
• 평가셋: 전체테스트 데이터 100%
• 코드제출기한: 12월 10일 23:00까지
• 코드제출내용: 12월 10일까지 점수를 토대로 평가를 원하는 제출결과에 대한 코드/모델/외부데이터(사용시) 모두 제출
• 코드제출방법: 추후 자유게시판에 공지
• 주의사항

 - 12월 5일 이전에 결과제출 하셨더라도 1차평가 기간동안 반드시 1회 이상 제출하셔야 합니다

- 상기 내용 대로 평가받고자 하는 코드/모델/외부데이터(사용시) 모두 제출하셔야 평가조건 외 완료됩니다.

- 평가결과(팀 최고점 또는 선택한 제출결과)와 코드/모델/외부데이터(사용시)의 재현결과가 다를 경우 자동 탈락됩니다.

2. 개인 또는 팀 참여 규칙

• '팀병합'은 개인들이 팀을 구성하는 것을 의미하며 팀을 합친다는 의미는 아닙니다.
• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능합니다.
• 팀 구성 방법: 배너 하단 팀 탭을 클릭하고 해당 페이지에서 팀 구성 안내 확인
• 팀 최대 인원: 5 명

            - 동일인이 개인 또는 복수팀에 중복하여 등록 불가

3. 외부 데이터 및 사전 학습 모델

• 참가자가 저작권 또는 사용허가를 획득한 외부 데이터로서 모델 성능 향상을 위해 가스・에너지분야의 문건들을 사용한 데이터의 사용이 권장됩니다.
• 법적 제약이 없으며 공개된 사전 학습 모델 사용이 허용됩니다.
• 외부데이터(가스・에너지분야의 문건) 요약문 가이드라인

- 제목에서 제시된 주요 단어 활용

- 가장 중요하게 선택된 문장 활용

- 생성된 문장의 6하원칙 내용 표함

- 전체 문장의 10% 내외로 요약 (극단적 축약 및 복문 지양)

- 문장 원형 추출 금지

4. 제출 규정

• 1일 최대 제출 횟수: 3회

5. 부정 행위

• 참가자가 사용한 외부데이터가 저작권을 침해하거나 사용허가를 득하지 않은 사실이 적발되는 즉시 탈락 조치됩니다.
• 모델 학습에서 검증 혹은 평가 데이터셋 활용(Data Leakage) 또는 수기 작성 시 실격됩니다.
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 선택해야 합니다.
• 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 링크를 참고해 주시기 바랍니다. https://dacon.io/notice/notice/13
• 본 대회 페이지 url 유출을 금지합니다.

6. 질문 사항

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.