거대 모델의 성능 저하 없이 크기를 줄이는 방법 : 2025 Samsung AI Challenge

1. 참여 규칙

• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
• 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
• 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
• 팀 최대 인원: 3명
• 동일인이 개인 또는 복수팀에 중복하여 등록 불가

2. 대회 규칙

1) 대회 지정 모델

• Qwen3 30B-A3B 모델 ~57GB [허깅페이스 링크]

-   Number of Experts: 128

-   Number of Activated Experts: 8

-   Number of Parameters: 30.5B in total and 3.3B activated

-   Number of Parameters (Non-Embedding): 29.9B

-   Number of Layers: 48

-   Number of Attention Heads (GQA): 32 for Q and 4 for KV

※ 참가자는 반드시 대회에서 지정한 Qwen3 30B-A3B 모델만을 사용해야 하며, 이 외의 다른 모델을 어떠한 방식으로든 사용하는 것은 허용되지 않습니다.

2) API 사용 제한

• OpenAI API, Gemini API 등과 같이 원격 서버를 통해 응답을 받는 형태의 API 기반 모델은 사용할 수 없습니다.
• 모든 모델은 로컬 환경(CPU 또는 GPU 기반)에서 직접 실행이 가능해야하며, 외부 서버에 의존하는 방식은 허용되지 않습니다.

3) 모델 학습 및 임의 가중치 수정 불가

• 참가자는 모델의 가중치를 직접 재학습하거나 수치적으로 수정하는 행위는 일절 허용되지 않습니다. 예를 들어, 다음과 같은 작업은 금지됩니다.

1) 모델 전체 또는 일부에 대한 fine-tuning, LoRA 등 어떠한 형태의 학습

2) 모델 파일 내부에서 특정 weight 값을 직접 수정하는 행위

※ 전문가 가지치기(Expert Pruning)와 전문가 병합(Expert Merging) 외의 방법은 허용되지 않습니다.

4) 외부 데이터 사용 가능

• 최소한 비상업적 이용이 허용된 라이선스(CC BY-NC, CC0 등)로 배포된 외부 데이터만 사용할 수 있습니다. 해당 조건을 충족하지 않는 외부 데이터는 사용이 불가능합니다.
• 외부 데이터를 활용하여 전문가 가지치기 및 전문가 병합 방법론을 탐구하거나 검증하는 데 사용할 수 있으나, 외부 데이터를 활용하여 모델을 직접 학습하거나 사전 학습된 다른 모델을 사용하는 것은 허용되지 않습니다.
• 예를 들어, 외부 데이터를 통해 전문가 병합 시 각 전문가의 중요도 또는 병합 비율 등을 결정할 수는 있지만, 이 과정에서 3)의 규칙에 의하여 외부 데이터를 활용하여 Qwen3 30B-A3B 모델의 가중치를 학습하거나 임의 수정하는 것은 허용되지 않습니다.

3. 제출 자료 안내 및 제출 방법

1) 예선

• 제출 기한 : ~ 2025년 9월 1일(월) 오전 10:00
• 제출 양식 : [링크]
• 제출 방법 : 대회의 [코드 공유 페이지]에 작성한 파일을 PDF파일로 업로드하여 비공개로 게시

2) 본선

• 본선 진출팀은 아래 형식에 맞추어 모델 체크포인트, 전체 코드, 서빙 코드 및 가이드 문서를 dacon@dacon.io 메일로 제출해야 합니다.

🔹1차 산출물 제출 기한 : ~ 2025년 9월 15일(월) 오전 10:00 [선택]

• 참가팀은 1차 개발 기간의 산출물을 아래 제출 형식에 맞추어 제출해야 하며, 제출한 팀에 한해 9월 18일(목) 오전 10시에 리더보드를 통해 평가 결과가 공개됩니다.

※ 1차 개발 기간의 산출물은 필수 제출 항목은 아니며, 최종 결과에는 포함되지 않습니다.

🔹최종 산출물 제출 기한 : ~ 2025년 9월 22일(월) 오전 10:00 [필수]

• 제출된 코드는 아래 규칙을 준수해야 하며, 이를 기반으로 코드 검증 및 평가가 이루어집니다.

[제출 코드 관련]

• 코드에 데이터 입/출력 경로를 상대 경로로 표기
• 코드와 주석 인코딩: UTF-8
• 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)
• 개발 환경(OS) 및 라이브러리 버전 기재

[제출 파일 목록]

• 전문가 가지치기 및 병합이 완료된 허깅 페이스 형식의 모델
• 해당 모델을 재현할 수 있는 가이드 문서를 포함한 전체 코드 파일
• 모델 서빙을 위한 가이드 문서를 포함한 SGLang 또는 VLLM 기반 서빙 코드

4. 유의 사항

• 사용 가능 언어: Python
• 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
• 대회 기간 내 팀 외의 모든 인사이트 및 코드 공유는 데이콘 플랫폼 내에서 공개적으로만 이루어져야하며 이 밖의 모든 비공식적인 공유 행위는 Private Sharing으로 간주합니다.
• 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
• 데이콘은 부정 제출 행위를 엄격히 금지하고 있으며, 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다.
• 자세한 사항은 링크를 참고해 주시기 바랍니다.

5. 문의

• 데이콘은 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해 주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 [토크] 페이지 대회 문의 게시글에 댓글을 올려 주시기 바랍니다.