Aimers 8기 : 모델 경량화 온라인 해커톤

[배경] 

최근 AI 서비스는 클라우드 기반의 대규모 모델을 넘어, On-Device 환경에서도 빠르고 안정적으로 동작하는 경량 모델에 대한 요구가 급격히 증가하고 있습니다. 특히 응답 지연(latency), 메모리 사용량, 운영 비용 등의 제약으로 인해 모델 크기를 줄이면서도 성능을 유지하는 기술이 중요한 과제로 부상하고 있습니다.

EXAONE은 Global Frontier 급의 Large-scale 모델과 함께, 노트북·모바일 등 제한된 환경에서도 활용 가능한 Small-scale 모델 라인업을 보유하고 있습니다. 그러나 단순히 파라미터 수를 줄이는 방식은 메모리와 속도 측면에서는 유리할 수 있으나, 정확도 저하라는 명확한 한계를 동반합니다.

이에 따라, 모델 크기를 효과적으로 축소하면서도 성능 저하를 최소화하고, 실제 추론 환경에서의 효율을 극대화할 수 있는 경량화 기법을 탐구하는 것이 중요해졌습니다.

이번 해커톤은 이러한 문제의식을 바탕으로, EXAONE 모델을 대상으로 한 실전 중심의 LLM 경량화를 수행하게 됩니다.

[주제]

LLM 경량화 (Large Language Model Compression)

[설명]

본 해커톤의 기본 모델인 EXAONE-4.0-1.2B 모델을 대상으로 한 경량화를 수행해야합니다.

참가자는 모델 구조와 특성을 분석한 뒤, 다양한 경량화 기법과 필요 시 추가 학습·튜닝을 적용하여 모델 크기, 추론 속도, 성능 간의 균형을 최적화하는 것을 목표로 합니다.

경량화된 모델은 vLLM 기반 추론 엔진 환경에서 평가되며, 동일한 추론 파이프라인 조건 하에서 모델 성능과 효율을 비교하게 됩니다.

이를 통해 단순한 파라미터 감소에 국한되지 않고, 실제 서비스 환경에서의 추론 효율과 성능을 함께 고려한 의미 있는 경량화 전략을 설계·검증하는 경험을 제공하고자 합니다.

📌 온라인 해커톤 (Phase 2)

• 온라인 해커톤에서는 vLLM 라이브러리 자체 수정은 허용되지 않습니다.
• 참가자는 허깅페이스(Hugging Face) 표준 방식으로 저장된 모델 가중치 및 설정 파일만을 제출해야 합니다.
• 즉, 모델 가중치 및 config 수준에서의 결과물만 평가 대상이 되며, 모든 모델은 운영진이 제공하는 동일한 vLLM 추론 환경에서 실행됩니다.

📌 오프라인 해커톤 (Phase 3)

• 오프라인 해커톤에서는 모델 가중치 경량화에 더해 vLLM 커스터마이징이 허용됩니다.
• 참가자는 1)허깅페이스 방식의 경량화된 모델 가중치와 함께 2)커스텀된 vLLM 라이브러리 폴더를 제출할 수 있습니다.
• 이를 통해 단순한 모델 가중치 수준의 경량화를 넘어, vLLM에서 기본적으로 지원하지 않는 추론·경량화 방법론이나 실행 전략을 직접 포팅·확장하는 등, 추론 엔진 수준까지 포함한 보다 폭넓은 최적화 설계가 가능합니다.
• 예를 들어 신규 또는 실험적 추론 알고리즘의 적용, 기존 vLLM에 미포함된 경량화 기법의 적용 또는 이를 뒷받침하기 위한 연산 정밀도 제어(FP16/BF16 등)와 같은 전략을 자유롭게 구현·검증할 수 있습니다.

온라인 해커톤(Phase2)에서 교육생들의 문제 해결 능력을 검증하여 오프라인 해커톤(Phase3)에 진출자(약 100명)를 선발하기 위한 과정입니다.

오프라인 해커톤(Phase3)은 1박 2일간 오프라인으로 진행되며, 온라인 해커톤(Phase2)과 주제는 동일합니다.

[코드 제출 대회]

본 대회는 submit.zip 업로드 방식의 코드 제출 형식 대회로 진행됩니다.

submit.zip에는 허깅페이스(Hugging Face) 표준 형식의 모델 가중치 및 설정 파일만 포함되어야 하며, 제출된 모델은 참가자 코드가 아닌, 운영진이 제공하는 고정된 추론 스크립트에서 실행되어 평가됩니다.

• 전체 추론 실행 시간 ≤ 20분
• 제출 파일 용량 ≤ 10GB (*압축해제 후 32GB)
• 6 vCPU, 28GB RAM, L4 GPU 22.4GiB VRAM 환경에서 실행

자세한 사항은 평가 탭 내 코드 제출 가이드를 참고하시기 바랍니다.

[주최 / 주관]

• 주최 : LG AI 연구원
• 주관 : 데이콘
• 참여 : 한경닷컴

[참가 자격]

LG Aimers 8기 교육생이라면 누구나 참가 가능

※ Phase 1(온라인 AI 교육) 이수와 관계없이 참가 가능

※ 참여 버튼을 누른 뒤 팝업 창에서 성명, LG Aimers 가입 메일을 기재 (데이콘 계정 메일과 LG Aimers 메일이 일치할 필요 없음)

※ Phase 3(오프라인 해커톤)는 Phase1과 Phase2를 모두 이수한 교육생만 참가 가능합니다. Phase1을 이수하지 않은 경우, Phase2에서 우수한 성적을 거두었더라도 Phase3에 참여할 수 없습니다.

※ 참여 관련 문제가 있는 LG Aimers 교육생의 경우 dacon@dacon.io로 문의

[해커톤 참가 안내 영상]