ChatGPT 활용 AI 경진대회 월간 데이콘

1. 리더 보드

• 평가 산식 : Macro F1 Score
• Public score : 전체 테스트 데이터 중 30%
• Private score : 전체 테스트 데이터 중 나머지 70%
• 동점자 발생의 경우, 기존 리더보드 순위 산정 방식을 따름 [링크]의 '리더보드 점수' 부분을 참고

2. 평가 방식

• 1차 평가 : 리더보드 Private Score
• 2차 평가 : 참가자 코드 및 프롬프트 제출 후 자료 검증
• Private 리더보드 상위 10팀은 필수 코드 및 프롬프트 제출 대상

3. 개인 또는 팀 참여 규칙

• 본 대회는 개인(1인)으로만 참여할 수 있습니다.
• 개인 참가 방법: 별도의 팀 신청 과정 없이 자유롭게 제출 탭에서 제출

4. ChatGPT 사용 규칙

• ChatGPT 사용의 모든 과정은 https://chat.openai.com/chat 에서 진행되어야함
• ChatGPT Free / Upgrade 버전은 자유롭게 선택하여 진행 가능
• 단, ChatGPT API를 활용한 방법은 불가능

[중요! ChatGPT 활용 대회 관련]

본 대회는 경진대회 최초로 ChatGPT를 활용한 코드 생성 대회로 모든 코드는 ChatGPT에게 질문(프롬프트)을 통해 생성된 코드로 구성되어야하고 모든 과정이 작동할 수 있어야합니다.

그리고 참가자는 이렇게 구성된 코드를 단지 실행만 시켜 모델을 학습하고 추론하여 리더보드에 제출해야합니다.

아울러 AI 모델 관련 하이퍼파라미터 역시 ChatGPT가 설정한 그대로를 적용해야합니다.

또한 ChatGPT에게 AI 프로젝트의 전체적인 과정을 나누어서 코드를 생성하도록 질문하는 경우, ChatGPT가 생성한 코드가 매끄럽게 이어지지 못해 오류가 발생하는 부분에 한해서만 수정이 가능합니다.

5. 데이터 허용 범위

• 대회 제공 데이터 이외의 외부 데이터 사용 금지
• 대회 제공 데이터 중 Test Dataset은 리더보드 제출을 위한 추론에만 사용 가능 (모델 학습 사용 불가능)
• Data Leakage (참고 : Data Leakage에 대한 개인적인 정리) 혹은 규칙 위반이 의심되는 경우 코드를 요청할 수 있음

6. 사전 학습 모델 허용 범위

• ChatGPT에게 질문(프롬프트)으로 사용하려는 사전 학습 모델을 지정하는 경우, 아래의 조건을 만족해야함
• 사용에 법적 제약이 없고 논문으로 공개된 베이스의 사전 학습된 모델(Pretrained Model Weight) 사용 가능
• 개인 API를 활용하여 구동되는 사전 학습된 모델(또는 코드)은 사용 불가

7. 코드 및 프롬프트 제출 규칙

• 대회 종료 후 2차 평가 희망자 및 필수 대상자는 아래의 양식에 맞추어 코드와 프롬프트 자료를 [코드 공유 게시판]에 기한 내에 제출
• 제출한 코드는 Private Score 복원이 가능해야 함

o  코드 파일 : ChatGPT가 생성한 최종 제출 코드를 단일 ipynb 파일로 제출

o  코드는 오류 없이 단일 ipynb로 모든 과정이 실행되어야 함(라이브러리 로딩 코드 포함)

o  ChatGPT가 생성한 코드로부터 모델 학습/추론 실행 환경(OS) 및 라이브러리 버전 기재

• 제출 파일 목록

o Private Score 복원이 가능한 최종 제출 코드 파일 (단일 ipynb 파일)

o Private Score 복원이 가능한 모델 weight 파일 (다운로드 링크)

o 고품질 코드 생성을 위한 ChatGPT 프롬프트 전략을 자유 양식의 PDF로 제출

-> ChatGPT로부터 최종 제출 코드를 생성하는데 활용한 프롬프트 자료가 반드시 포함되어 있어야함

8. 유의 사항

• 1일 최대 제출 횟수: 3 회
• 사용 가능 언어: Python, R
• 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외
• 모든 학습, 추론의 과정 그리고 추론의 결과물들은 질문으로부터 ChatGPT가 생성한 코드로만 이루어져야하며, 비정상적인 방법(혹은 직접 코딩)으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 1개를 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 및 프롬프트 검증 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

9. 토론(질문)

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?