2024 인하 인공지능 챌린지

1. 리더 보드

평가 산식 : F1 Score

Public Score : 전체 테스트 데이터 중 사전 샘플링된 50%

Private Score : 전체 테스트 데이터 100%

2. 평가 방식

정량 평가(100%) : 리더보드 Private Score

• 코드 검증 과정에서 부정행위 등 문제점이 발견된 경우는 시상이 취소되며 코드 제출을 완료하고 코드에 문제가 없는 후순위 팀에게 수상

※ Private 리더보드 공개 후 코드 제출

• 24.08.14(수) 18:00 대회 종료 후 Private 리더보드 각 트랙별 상위 7팀(예비 2팀 포함)은 당일 22:00 (오후 10시)까지 bhjo12@inha.ac.kr로 Private Score를 재현할 수 있는 소스코드를 제출
• 제출한 코드는 Private Score 복원이 가능해야 하며, 단일 GPU VRAM(48GB)에서 모델이 작동 가능해야합니다. (4. 대회 규칙 -> 5번 참조)

o  코드에 데이터 입/출력 상대 경로 포함

o  코드 파일 확장자: .py, .ipynb

o  코드와 주석 인코딩: UTF-8

o  모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o  개발 환경(OS) 및 라이브러리 버전 기재

• 제출 파일 목록

o Private Score 복원이 가능한 전처리, 학습, 추론 코드 파일 (필수)

o Private Score 복원이 가능한 모델 weight 파일 (필수)

o  추론(Inference) 코드 파일 (필수, 중요)

-> test.csv를 Input으로 받아 모델 입력 형태에 맞게 전처리가 이루어지고, Model Checkpoint(weight) 파일을 불러와 추론(Inference)을 진행하여 제출 CSV파일이 생성되는 코드

3. 팀 참여 규칙

- 인공지능에 관심있는 인하대 학부생, 대학원생 팀 (팀당 2 ~ 5인) 

- 2024년 8월 13일 23:59까지 최소 2명 이상 5명 이내 팀 구성 필수

• 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
• 구성팀원 중 한 명 이상 대학원생이 포함되어 있으면 대학원팀으로 간주함
• 참가 등록 가능 시점(2024년 7월 1일 ~ 2024년 8월 13일)에서 재학생에 한함
• 휴학생 불가(7/1~8/13 기간동안 재학생에 한함), 팀원 중 1인이상 9월에 재학생 신분 필수

ex) 팀원이 4명인 경우, 7/1~8/13 기간동안 4명 모두 재학생이어야 하며, 1명만 9월 중 재학생이면 됨

4. 대회 규칙 (데이터, API, 모델, 추론 리소스 규칙 관련)

1. 외부 데이터 사용 금지: 경진대회 제공 데이터 외에는 사용할 수 없습니다.
2. 학습 데이터 증강 가능: 제공된 훈련 데이터를 증강할 수 있지만, ChatGPT, Claude 등과 같은 모델의 코드와 가중치 파일이 공개되지 않은 LLM은 사용할 수 없습니다.
3. 공식 공개 사전 학습 모델 사용 가능: 가중치 파일이 공식적으로 공개되고 사용에 법적 제약이 없는 사전 학습 모델은 사용할 수 있습니다.
4. 유료 LLM 모델 API 사용 금지: 유료 LLM 모델의 API를 이용한 모델 학습 및 추론은 금지됩니다. (데이터 조작 포함)
5. 추론 리소스 제한 : 제출한 추론 코드가 평가 데이터셋에서 단일 GPU VRAM (48GB) 내에 작동 가능해야 합니다. (작동 불가능한 경우 수상 불가능)
6. 허용된 기법 : 순수 프롬프팅, RAG (Retriever Augmented Generation), 파인튜닝(Fine-tuning) 기법을 사용할 수 있습니다.

5. 유의 사항

- 1일 최대 제출 횟수: 3회

- 사용 가능 언어: Python

- 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.

- 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외 (평가 데이터셋의 Pseudo Labeling 포함)

- Private Score는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 함

• 선택하지 않는 경우, 자동적으로 Public Score가 가장 높은 제출물로 선택됩니다.
• 최종적으로 채점 받고 싶은 파일을 선택한 이후 추가 제출이 발생하면, 자동적으로 Public Score가 가장 높은 제출물로 선택됩니다.

- 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다.

- 대회 진행 중 규칙 위반 사항이 의심되는 경우 코드 제출 요청을 할 수 있으며 요청 2일 이내 코드 미제출 혹은 외부 데이터 사용이 확인되었을 경우 리더보드 기록이 삭제됩니다.

자세한 사항은 아래의 링크를 참고해 주시기 바랍니다. https://dacon.io/notice/notice/13

6. 대회문의

- 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다.

기타 질문은 토크 페이지를 통해 자유롭게 토론해주시기 바랍니다.

- 데이콘 답변을 희망하는 경우 [토크] 페이지에 질문을 올려 주시기 바랍니다.

- 문의처

• 인공지능융합연구센터 : 032-860-9472, bhjo12@inha.ac.kr
• 데이콘 : dacon@dacon.io