Aimers 8th : Model Compression Offline Hackathon

1. 리더 보드

• 평가 산식

• 모델 성능: 벤치 성능 정규화 점수

• 모델 효율성(추론 속도): 최대 초당 토큰 생성 속도(Peak Output Throughput)의 역수 정규화 점수

• 메모리 효율성(모델 크기): 모델 크기(safetensors) 정규화 점수

※ 제출 탭에 표시되는 ‘시간’은 평가 서버에서 제출물이 실행되는 '전체 추론 실행 시간'입니다.

해당 시간에는 모델 로드, 평가 데이터에 대한 추론, 결과값 파싱 등 모든 처리 과정이 포함되며, 이 전체 추론 실행 시간은 규칙으로 지정한 시간 제한(30분) 이내에 완료되어야 합니다.

반면, 평가 산식에 반영되는 모델 효율성은 모델이 평가용 벤치마크 데이터셋에 대해 실제로 추론하며 기록된 '최대 초당 토큰 생성 속도(Peak Output Throughput)'의 역수를 기준으로 계산됩니다.

※ 각 항의 min, max 값은 운영진이 각 평가 항목별 기대 성능 범위를 고려하여 사전 설정한 기준값이며, 그 수치는 비공개로 진행됩니다.

• Public score : 전체 테스트 데이터 100%
• 최종 리더보드 점수 : 대회 종료(4/5 11:00) 기준의 Public 리더보드 점수

※ 테스트 데이터는 비공개 벤치셋으로 구성되어 있습니다.

2. 평가 방식

• 1차 평가 : 최종 리더보드 점수 100%
• 동점자의 경우, 기존 리더보드 순위 산정 방식을 따름 [링크]의 '리더보드 점수' 부분을 참고
• 2차 평가 : 최종 리더보드 점수 상위 10팀은 코드 및 PPT 제출 후 제출 자료 검증을 통과한 Private 상위 5팀 발표 평가 진행 (8분 발표, 7분 질의응답)
• 2차 평가 기준

※ 모델 성능(50점) 환산식 : 50 X ((2차 평가 대상팀 최종 리더보드 점수) / (2차 평가 대상팀 중 최고점수))^N (N은 조정 계수로 1~5 사이로 설정되며 비공개)

3. 코드 제출 대회 가이드

본 대회는 submit.zip 파일을 제출하는 방식의 '코드 제출 대회'로 진행됩니다.

참가자는 아래와 같은 구조로 submit.zip을 구성하여 제출해야 합니다.

아래의 구조와 동일하고 디렉토리 명과 파일 명을 모두 일치 시켜야합니다.

📁 참가자 제출 파일 구조 (submit.zip)

submit.zip
├── model/        # 허깅 페이스(HF) 방식의 모델 가중치 파일 디렉토리
 |       └── (예: config.json, model.safetensors 등)
├── vllm-0.17.0-cp311-cp311-linux_x86_64.whl    # [선택]참가자가 직접 수정 후 빌드한 vLLM wheel(.whl) 파일
└── requirements.txt   # [선택] 필요한 패키지 및 버전 명시

• model/ 디렉토리에는 반드시 제출 모델 가중치 및 토크나이저 관련 파일이 포함되어야 합니다.
• vllm-**.whl은 선택 제출 항목이며, 제출한 경우 해당 wheel 파일을 설치한 뒤 평가를 진행합니다.
• vllm-**.whl을 제출하지 않은 경우, 평가 서버에 기본 설치된 고정 vLLM 환경으로 자동 채점됩니다.
• requirements.txt는 선택 제출 항목이며, 제출 시 참가자가 사용하는 의존성을 기준으로 패키지 설치가 진행됩니다.
• submit.zip 내 구조는 반드시 일치해야 하며, 추가 최상위 폴더가 존재하거나 경로 구조가 상이한 경우 설치 오류가 발생할 수 있습니다.

⚙️ 평가 서버에서 추가되는 항목

제출 시, 평가 서버에서 참가자가 제출한 submit.zip 파일에는 아래 항목이 자동으로 추가됩니다.

submit.zip
├── model/        # 참가자 구성
├── script.py       # 평가에 사용될 추론 코드 (운영진 고정, 평가 시 자동 생성)
├── requirements.txt   # 필요한 패키지 및 버전 (제출하지 않을 경우, 고정 서버로 자동 생성)
├── data/         # 평가에 사용될 테스트 데이터 (운영진 고정, 평가 시 자동 생성)
└── output/submission.csv        # 참가자 모델의 추론 결과가 저장되는 경로 (운영진 고정, 평가 시 자동 생성)

• model/ , vllm-**.whl(선택), requirements.txt(선택)만 구성할 수 있습니다.

💾 제출 파일 용량 제한

• 제출 파일(zip) 용량 제한: 최대 10GB 이내 (*압축해제 후 32GB 이내)

⏱️ 실행 시간 제한

• 패키지 설치 시간: 최대 15분 이내 (시간 초과 시 설치 오류)
• 추론 코드 실행 시간: 최대 30분 이내 (시간 초과 시 제출 오류)

⚙️ 평가 서버 사양

• OS : Ubuntu 22.04.5 LTS
• CPU: 6 vCPU
• RAM: 28GB
• GPU : L4 (VRAM 22.4GiB)
• Python : 3.11.14
• CUDA : 12.9

💾 평가 서버 기본 설치 패키지 목록

• 아래에 명시된 패키지는 평가 서버의 기본 설치 환경입니다.
• 시스템 패키지는 평가 서버에 고정되며, 변경하거나 추가할 수 없습니다.
• 참가자는 requirements.txt를 통해 패키지(라이브러리)를 추가 설치하거나 버전을 변경할 수 있습니다.
• 이 과정에서 발생하는 의존성 충돌 및 호환성 문제는 참가자가 직접 해결해야 합니다.
• 제출한 환경은 평가 서버에서 정상적으로 설치 및 실행 가능해야 합니다.
• 평가 서버는 인터넷이 차단된 환경에서 추론이 진행되므로, 설치에 필요한 모든 의존성은 제출물 내에서 함께 제공되거나 사전 설치 패키지 범위 내에서 해결 가능해야 합니다.

1) 설치 패키지(라이브러리)

torch==2.10.0+cu129 
vllm==0.17.0
bitsandbytes==0.49.2 
bitblas==0.1.0.post1 
nvidia-modelopt==0.41.0 
compressed-tensors==0.13.0 
torch-c-dlpack-ext==0.1.4 
transformers==4.57.3 
tokenizers==0.22.1 
accelerate==1.10.1 
datasets==4.4.1 
huggingface-hub==0.36.0 
safetensors==0.7.0 
sentencepiece==0.2.1 
protobuf>=6.32.0 
evaluate==0.4.6 
rouge_score==0.1.2 
sacrebleu==2.5.1 
math-verify==0.8.0 
langdetect==1.0.9 
numpy==2.2.6 
pandas==2.3.3 
tqdm==4.67.1 
regex==2025.11.3 
nltk==3.9.2 
antlr4-python3-runtime==4.11.0 
sympy==1.14.0 
immutabledict==4.2.2

2) 설치 시스템 패키지

python3.11 
python3.11-distutils 
python3-pip 
python3.11-dev 
build-essential 
git 
git-lfs
ninja-build 
libomp-dev 
libblas3 
liblapack3 
gfortran 
libatlas-base-dev 
curl 
wget 
ca-certificates 
unzip 
procps
cmake
tzdata
libxcb1

3) 모델 서빙 스펙

• 본 대회는 참가자가 제출한 EXAONE-4.0-1.2B 경량화 모델을 대상으로, 고정 추론 스크립트(script.py)를 통해 평가합니다.
• 기본 환경에는 vllm==0.17.0이 설치되어 있으나, 오프라인 해커톤에서는 기본 vLLM 대신 사용할 커스텀 vLLM wheel 파일(.whl)을 제출할 수 있습니다. [가이드]
• 제출한 wheel 파일은 평가 서버 환경(Linux x86_64, Python 3.11) 과 호환되어야 합니다. (예: cp311-cp311-linux_x86_64.whl)
• win_amd64, macosx, aarch64 등 평가 서버와 다른 플랫폼 태그를 가진 wheel 파일은 정상 설치되지 않을 수 있습니다. (제공된 Docker 환경에서 wheel 파일을 빌드하는 것을 권장합니다.)
• 환경이 다를 경우 wheel 설치 실패 또는 런타임 오류가 발생할 수 있으며, 이로 인한 문제는 '제출 오류'로 처리됩니다.

① 추론 엔진 (Inference Engine)

• Inference Engine: vLLM (version: 0.17.0)
• Model Interface: HuggingFace AutoModelForCausalLM 호환
• 제출된 모델은 다음 호출이 가능해야 하며, 토크나이저는 모델과 함께 제공되어야 합니다.

# tokenizer
AutoTokenizer.from_pretrained(MODEL, trust_remote_code=True, local_files_only=True)

# model
AutoModelForCausalLM.from_pretrained(MODEL, trust_remote_code=True)

② vLLM Serving 옵션

• 아래 옵션은 채점 서버에서 고정 적용됩니다.

tensor_parallel_size = 1
gpu_memory_utilization = 0.85
batch_size = auto
max_gen_toks = 32768
enable_thinking = True
apply_chat_template = true

📌 유의사항

• 제출 시 발생하는 오류의 종류는 두 가지로 정의되며, 일일 제출 횟수 반영에 대한 기준이 다르므로 반드시 숙지하여 진행해야 합니다.
• 1) 설치 오류 : 제출하는 submit.zip 내부 구조가 불일치한 경우, 패키지 설치 오류 -> 일일 제출 횟수 반영되지 않음
• 예) submit.zip 파일 안에 ./model 폴더로 되어 있지 않은 경우, 폴더명이 model이 아닌 경우
• 2) 제출 오류 : script.py 코드 실행 후 발생하는 모든 오류 -> 일일 제출 횟수 반영됨
• 예) tokenizer 로드가 안되는 경우, vLLM 모델 로딩에 실패한 경우, 전체 추론 시간이 30분을 초과하는 경우 등
• 평가 서버 환경은 인터넷 접속이 불가능하므로, 패키지 설치 이후 외부 다운로드가 필요한 코드나 모델은 작동하지 않습니다.