거대 모델의 성능 저하 없이 크기를 줄이는 방법 : 2025 Samsung AI Challenge

[배경]

대형 언어 모델(LLM) 성능은 모델 크기를 키울수록 향상되는 경향이 있지만,

모델의 파라미터 수가 기하급수적으로 증가하면 계산 비용과 GPU 자원 소모도 급격히 늘어나는 문제가 있습니다.

이를 해결하기 위해 등장한 Sparse Mixture-of-Experts(SMoE)는 여러 전문가 중 일부만 활성화하여 효율적으로 성능을 내는 구조로

Switch Transformer, Qwen-MoE, Llama4 등에서 활용되고 있습니다.

하지만 SMoE 모델은 각 입력 토큰 처리 시 일부 전문가만 활성화되더라도, 

전체 모델은 수많은 전문가를 포함하고 있기 때문에 메모리 사용량이 높고, 일부 전문가만 빈번히 선택되는 자원 불균형 문제가 발생합니다.

이러한 문제를 해결하기 위해 활용도가 낮은 전문가를 제거하는 전문가 가지치기(Expert Pruning)와 지식을 통합해 수를 줄이는 전문가 병합(Expert Merging) 두 가지 접근이 제시되었습니다.

본 대회는 이러한 SMoE 모델의 성능 손실을 최소화하면서 전문가 수를 효율적으로 축소하는 알고리즘 개발을 목표로 합니다.

[대회 방식]

본 대회는 예선, 본선으로 진행됩니다.

🔹예선 : 문제 해결을 위한 기획서를 제출해야하며, 심사위원 정성 평가를 거쳐 상위 15팀이 본선에 진출하게 됩니다.

🔹본선 : 본선 진출팀은 예선 기획서를 바탕으로 알고리즘을 개발하고, 산출물을 제출하여 내부 평가를 진행합니다.

• (선택) 1차 산출물 제출 : 1차 개발 기간 내 제출한 팀에 한해, 비공개 테스트 데이터셋 기반의 1차 평가 결과를 참고용으로 공개하되, 최종 평가에는 반영되지 않음
• (필수) 최종 산출물 제출 : 최종 개발 기간 내에 제출한 산출물에 대하여 코드 검증 및 최종 평가 진행

[주제]

전문가 가지치기(Expert Pruning)와 전문가 병합(Expert Merging)을 통한 Sparse Mixture-of-Experts 경량화

[설명]

최적의 Sparse Mixture-of-Experts 압축 모델을 개발하기 위해 효율적인 전문가 가지치기(Expert Pruning) 및

전문가 병합 전략(Expert Merging)을 활용하여 모델의 파라미터 수를 최소화하고 성능 저하를 최소화해야 합니다.

이를 통해 거대 언어 모델의 성능을 최대한 유지하면서도 모델을 효과적으로 경량화하는 것이 목표입니다.

※ 참가자는 반드시 대회 지정 모델(Qwen3 30B-A3B 모델 ~57GB)만 활용할 수 있습니다.

※ 전문가 가지치기(Expert Pruning)와 전문가 병합(Expert Merging) 외의 방법은 허용되지 않습니다.

[참가 자격]

대학생/대학원생 (개인 또는 팀 단위, 팀 최대 3명)

• 팀 구성원 모두 국내외 재학중인 대한민국 국적의 대학(원)생
• 수상은 아래 조건을 충족해야 함

1. 학적 상태가 재학 또는 휴학 상태이어야함
2. 산업체, 연구소 등에 재직 중인 사람은 수상 불가 (학술 연수중인 사람, 산업정부출연연구소 소속 학생연구원 포함)
3. 최종 수상후보 팀은 재학증명서 또는 대체인증서류 제출 필수

※ 졸업 유예생의 경우, 본인 소속 대학의 학적 상태를 따름

※ 박사 수료생의 경우, 수상 후보팀 선정시에 학생 신분을 증빙하는 서류 제출 필요 (재학증명서, 연구생증명서, 재적증명서 등)

[주최 / 운영]

• 주최: 삼성전자 AI센터
• 운영: 데이콘