2024 자동차 데이터 분석 경진대회

1. 리더보드

• 평가 산식 = 0.8 * 모델 분류 성능 + 0.2 * 프롬프트 토큰 점수

※ 1. GPT 모델의 응답이 40개의 행으로 각각 0 또는 1의 답변으로만 구성되지 않는 다면 전체 점수 0점 처리

※ 2. System + User Prompt의 구성 토큰 개수가 16000을 초과하는 경우에는 프롬프트 토큰 점수 0점 처리

• Public score : 전체 테스트 데이터 중 사전 샘플링된 50%
• Private score : 전체 테스트 데이터 100%

2. 평가 방식

• 1차 평가 : 리더보드 Private Score 상위 5팀 선발
• 2차 평가 : Private Score 상위 5팀 대상 발표 자료 제출 오프라인 발표 평가

※ 2차 평가 후보팀 중에서 프롬프트 검증 과정에 문제가 있거나, 오프라인 발표 평가 참여에 희망하지 않는 경우 2차 평가 자격은 차 순위 팀에게 부여됩니다.

• 2차 평가 기준

3. 개인 또는 팀 참여 규칙

• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
• 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
• 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
• 팀 최대 인원: 5 명
• 동일인이 개인 또는 복수팀에 중복하여 등록 불가

4. 프롬프트 작성 및 모델 출력 규칙

• 대회 문제 해결 목적에 부합하지 않거나 불건전한 프롬프트 제출 시 실격 사유에 해당합니다.
• 대회 문제 해결 목적과 다른 리더보드 산식을 악용한 프롬프트 제출 시 실격 사유에 해당합니다.
• 프롬프트를 통해 모델이 직접 분류하도록 하는 것이 아닌 수기 분류 등의 부적절한 시도가 발견되는 경우 실격 사유에 해당합니다.
• 평가 데이터셋은 Data Leakage를 유의하여 프롬프트 상에서도 반드시 모델 분류를 위한 입력으로만 활용 해야 합니다.
• [중요] 평가 데이터셋의 'lang', 'title', 'notes' 컬럼의 데이터는 취사 선택하여 프롬프트에 반영할 수 있으나, 이외 변조(특정 부분 자르기, 요약 등)는 불가능합니다.
• 모델 출력은 평가 데이터셋 40개의 샘플에 대하여 분류한 결과 (0 또는 1)만을 각 행 별로 출력해야합니다.
• 모델 출력 규칙에 부합하지 않는 경우 0점이 반환되므로 신중히 제출해야합니다.

5. 발표자료 제출 규칙

• 대회 종료 후 2차 평가 대상자는 발표 자료 PPT를 dacon@dacon.io 메일로 기한 내에 제출
• 발표자료는 2차 평가 기준(2. 평가 방식 -> 2차 평가 기준)에 맞춰 '10분 PT 분량'의 자유 양식으로 작성

6. 유의 사항

• 1일 최대 제출 횟수: 5 회
• 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
• LLM의 특성상 동일한 프롬프트 제출물에도 다른 결과(점수)가 도출 될 수 있으며, 제출 시 기록된 리더보드 점수만을 인정합니다.
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 결과물 검증과 발표 평가 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

7. 토론(질문)

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?