분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
대형 언어 모델(LLM) 성능은 모델 크기를 키울수록 향상되는 경향이 있지만,
모델의 파라미터 수가 기하급수적으로 증가하면 계산 비용과 GPU 자원 소모도 급격히 늘어나는 문제가 있습니다.
이를 해결하기 위해 등장한 Sparse Mixture-of-Experts(SMoE)는 여러 전문가 중 일부만 활성화하여 효율적으로 성능을 내는 구조로
Switch Transformer, Qwen-MoE, Llama4 등에서 활용되고 있습니다.
하지만 SMoE 모델은 각 입력 토큰 처리 시 일부 전문가만 활성화되더라도,
전체 모델은 수많은 전문가를 포함하고 있기 때문에 메모리 사용량이 높고, 일부 전문가만 빈번히 선택되는 자원 불균형 문제가 발생합니다.
이러한 문제를 해결하기 위해 활용도가 낮은 전문가를 제거하는 전문가 가지치기(Expert Pruning)와 지식을 통합해 수를 줄이는 전문가 병합(Expert Merging) 두 가지 접근이 제시되었습니다.
본 대회는 이러한 SMoE 모델의 성능 손실을 최소화하면서 전문가 수를 효율적으로 축소하는 알고리즘 개발을 목표로 합니다.
본 대회는 예선, 본선으로 진행됩니다.
🔹예선 : 문제 해결을 위한 기획서를 제출해야하며, 심사위원 정성 평가를 거쳐 상위 15팀이 본선에 진출하게 됩니다.
🔹본선 : 본선 진출팀은 예선 기획서를 바탕으로 알고리즘을 개발하고, 산출물을 제출하여 내부 평가를 진행합니다.
전문가 가지치기(Expert Pruning)와 전문가 병합(Expert Merging)을 통한 Sparse Mixture-of-Experts 경량화
최적의 Sparse Mixture-of-Experts 압축 모델을 개발하기 위해 효율적인 전문가 가지치기(Expert Pruning) 및
전문가 병합 전략(Expert Merging)을 활용하여 모델의 파라미터 수를 최소화하고 성능 저하를 최소화해야 합니다.
이를 통해 거대 언어 모델의 성능을 최대한 유지하면서도 모델을 효과적으로 경량화하는 것이 목표입니다.
※ 참가자는 반드시 대회 지정 모델(Qwen3 30B-A3B 모델 ~57GB)만 활용할 수 있습니다.
※ 전문가 가지치기(Expert Pruning)와 전문가 병합(Expert Merging) 외의 방법은 허용되지 않습니다.
대학생/대학원생 (개인 또는 팀 단위, 팀 최대 3명)
※ 졸업 유예생의 경우, 본인 소속 대학의 학적 상태를 따름
※ 박사 수료생의 경우, 수상 후보팀 선정시에 학생 신분을 증빙하는 서류 제출 필요 (재학증명서, 연구생증명서, 재적증명서 등)
대회 시작
팀 병합 마감
예선 종료
예선 내부 평가 마감
본선 진출팀 안내 및 본선 시작
본선 1차 결과 공개
본선 종료
내부 평가 및 검증
최종 결과 발표
대형 언어 모델(LLM) 성능은 모델 크기를 키울수록 향상되는 경향이 있지만,
모델의 파라미터 수가 기하급수적으로 증가하면 계산 비용과 GPU 자원 소모도 급격히 늘어나는 문제가 있습니다.
이를 해결하기 위해 등장한 Sparse Mixture-of-Experts(SMoE)는 여러 전문가 중 일부만 활성화하여 효율적으로 성능을 내는 구조로
Switch Transformer, Qwen-MoE, Llama4 등에서 활용되고 있습니다.
하지만 SMoE 모델은 각 입력 토큰 처리 시 일부 전문가만 활성화되더라도,
전체 모델은 수많은 전문가를 포함하고 있기 때문에 메모리 사용량이 높고, 일부 전문가만 빈번히 선택되는 자원 불균형 문제가 발생합니다.
이러한 문제를 해결하기 위해 활용도가 낮은 전문가를 제거하는 전문가 가지치기(Expert Pruning)와 지식을 통합해 수를 줄이는 전문가 병합(Expert Merging) 두 가지 접근이 제시되었습니다.
본 대회는 이러한 SMoE 모델의 성능 손실을 최소화하면서 전문가 수를 효율적으로 축소하는 알고리즘 개발을 목표로 합니다.
본 대회는 예선, 본선으로 진행됩니다.
🔹예선 : 문제 해결을 위한 기획서를 제출해야하며, 심사위원 정성 평가를 거쳐 상위 15팀이 본선에 진출하게 됩니다.
🔹본선 : 본선 진출팀은 예선 기획서를 바탕으로 알고리즘을 개발하고, 산출물을 제출하여 내부 평가를 진행합니다.
전문가 가지치기(Expert Pruning)와 전문가 병합(Expert Merging)을 통한 Sparse Mixture-of-Experts 경량화
최적의 Sparse Mixture-of-Experts 압축 모델을 개발하기 위해 효율적인 전문가 가지치기(Expert Pruning) 및
전문가 병합 전략(Expert Merging)을 활용하여 모델의 파라미터 수를 최소화하고 성능 저하를 최소화해야 합니다.
이를 통해 거대 언어 모델의 성능을 최대한 유지하면서도 모델을 효과적으로 경량화하는 것이 목표입니다.
※ 참가자는 반드시 대회 지정 모델(Qwen3 30B-A3B 모델 ~57GB)만 활용할 수 있습니다.
※ 전문가 가지치기(Expert Pruning)와 전문가 병합(Expert Merging) 외의 방법은 허용되지 않습니다.
대학생/대학원생 (개인 또는 팀 단위, 팀 최대 3명)
※ 졸업 유예생의 경우, 본인 소속 대학의 학적 상태를 따름
※ 박사 수료생의 경우, 수상 후보팀 선정시에 학생 신분을 증빙하는 서류 제출 필요 (재학증명서, 연구생증명서, 재적증명서 등)
08.04
대회 시작08.25
팀 병합 마감09.01
예선 종료09.05
예선 내부 평가 마감09.08
본선 진출팀 안내 및 본선 시작09.18
본선 1차 결과 공개09.22
본선 종료09.25
내부 평가 및 검증09.26
최종 결과 발표
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved