1. 리더 보드 (예선)

평가 산식 : 가중 정확도 (Weighted Accuracy)

※ 테스트 샘플 별 평가 가중치는 비공개

[1차 개발/테스트 기간 리더보드]

Public score : 제공된 축소 테스트 데이터 60개 샘플 100%

🔹해당 기간 리더보드 순위/점수는 예선 평가에 반영되지 않습니다.

[최종 개발/테스트 기간 리더보드]

Public score : 최종 테스트 데이터 중 사전 샘플링된 50%
Private score : 최종 테스트 데이터 100%

2. 평가 방식

예선 평가 : 리더보드 Private Score 100%
Private Score는 예선 종료(7/28 10:00) 후 일괄 채점하여 공개
동점자의 경우, 기존 리더보드 순위 산정 방식을 따름
본선 진출 후보자 중 코드 제출을 완료하고 코드 검증을 통과한 Private Score 상위 50명이 본선 진출
본선 평가 : 솔루션 PT(발표)에 대한 심사위원의 평가 점수 (10분 발표, 20분 질의 응답)

모델 성능 항목 환산식 : 50 × ((팀의 Private 리더보드 점수) / (최고 점수)) ^ N

※ '최고 점수'는 Private 리더보드에서 가장 높은 리더보드 점수, N은 1~5 사이의 비공개 조정 계수로 설정

3. 참여 규칙

개인(1인)으로만 참여할 수 있습니다.
개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능합니다.
동일인의 다계정 참가 등록은 금지되며, 적발 시 부정행위로 처리됩니다.
SCPC 알고리즘 챌린지와 중복하여 참가 불가합니다.

4. API, 외부 데이터 및 사전 학습 모델 관련 규칙

1) 사전 학습 모델 사용 가능 범위

2024년 전(~2023.12.31)에 공식적으로 가중치가 공개되었으며, 최소한 비상업적 이용이 허용된 오픈소스 라이선스(MIT, Apache 2.0 등)로 배포된 사전 학습 모델만 사용할 수 있습니다. 해당 조건을 충족하지 않는 모델은 사용이 불가능합니다.

2) API 사용 제한

OpenAI API, Gemini API 등과 같이 원격 서버를 통해 응답을 받는 형태의 API 기반 모델은 사용할 수 없습니다. 모든 모델은 로컬 환경(CPU 또는 GPU 기반)에서 직접 실행 가능한 형태로만 사용해야 하며, 외부 서버(클라우드 등)에 의존하는 방식은 허용되지 않습니다.

3) 외부 데이터 사용 가능

2025년 6월 11일 전(~2025.06.10)에 공식적으로 공개되었으며, 최소한 비상업적 이용이 허용된 라이선스(CC BY-NC, CC0 등)로 배포된 외부 데이터만 사용할 수 있습니다. 해당 조건을 충족하지 않는 외부 데이터는 사용이 불가능합니다.
직접 촬영하거나 수기로 작성한 데이터는 사용할 수 없습니다.
모든 규칙을 준수하며 코드 상에서 구현이 가능한 방식으로 사용되는 경우, 해당 데이터는 ‘데이터 증강’으로 간주되어 사용이 가능합니다.

※ 데이터 증강 예시: 이미지 변형, 생성AI 모델을 활용한 데이터 생성 등

🔹모든 외부 데이터는 출처, 사용 방식, 데이터 파일 등 증빙이 가능해야 하며, 이에 대한 확인이 이루어지지 않을 경우 실격 처리될 수 있습니다.

🔹모든 데이터 증강 과정은 관련 코드와 함께 제출되어야합니다.

4) 추론 모델 가중치의 총합은 '3B' 미만

리더보드에 제출하는 예측 결과는 아래 조건을 반드시 충족해야 합니다.

🔹추론에 사용되는 모든 모델의 총 파라미터 수는 반드시 3B(30억 개) 미만이어야 합니다.

🔹이 기준은 추론 코드에서 실제로 로드(Load)되는 모든 모델의 가중치(parameter)의 수 합계를 기준으로 판단합니다.

※ 예시: 2B 모델 10개를 순차적으로 로드하여 각각 추론 후 메모리에서 제거하더라도, 추론 과정에서 총 10개의 모델 가중치가 각각 로드되므로 총합 20B로 규칙 위반에 해당합니다.

5. 코드 및 PPT 제출 규칙

예선 종료 후 본선 평가 대상자는 아래의 양식에 맞추어 코드와 모델 체크포인트, 코드 실행 방법이 담긴 자료를 dacon@dacon.io 메일로 기한 내에 제출
제출한 코드는 규칙을 준수하고 Private Score 복원이 가능해야 코드 검증 과정을 통과할 수 있습니다.

[제출 코드 관련]

o 코드에 데이터 입/출력 경로를 상대 경로로 표기

o 코드와 주석 인코딩: UTF-8

o 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o 개발 환경(OS) 및 라이브러리 버전 기재

o 추론(Inference) 과정은 별도의 코드로 작성해야 하며, 추론에 활용하는 모델 가중치(Weight) 파일을 필수로 포함

[발표자료 관련]

o 발표는 '발표자료(PDF)' 파일로 진행

* 기술적 오류 방지를 위해 PPT는 허용되지 않음

[제출 파일 목록]

o Private Score 복원이 가능한 코드 (학습/추론)

o Private Score 복원이 가능한 모델 가중치(Weight) 파일

o 자유 양식의 솔루션 설명 발표자료(PDF)

o 재학증명서 또는 대체인증서류

6. 유의 사항

1일 최대 제출 횟수: 3회
사용 가능 언어: Python
대회 기간과 참가자들의 점수 분포 등을 고려하여, 주최측의 요청에 따라 일정 기간 동안 '코드 공유' 탭이 일시적으로 비활성화될 수 있습니다.
모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 실격 또는 본선 진출이 불가능합니다.
평가용 이미지 또는 지문을 수작업으로 라벨링하거나, 이를 기반으로 정답을 직접 추정하여 학습 데이터처럼 사용하는 행위
평가 데이터셋에서 특정 패턴이나 정답 분포를 분석해 모델 구조, 전처리 방식, 정답 후보 설정 등에 반영하는 행위 등
모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 함
대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 본선 진행 후, 최종 수상자가 결정됨
데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

7. 토론(질문)

대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?

2025 Samsung Collegiate Programming Challenge : AI Challenge

Recurit | SCPC | Algorithm | Vision | LLM | Generative AI | Multi-Modal | Accuracy