Aimers 8th : Model Compression Online Hackathon

Phase 3 모델 경량화 핵심 기법 요약

L4 GPU(24GB VRAM)와 32K 컨텍스트 환경의 제약을 돌파하기 위해, 모델 크기·성능·속도의 트레이드오프를 고려하여 아래 두 가지 기법을 결합했습니다.

1. W4A16 GPTQ 양자화 (`IGNORE=["lm_head"]`)
적용: 가중치는 4-bit로 압축하고 활성도는 16-bit를 유지하는 GPTQ를 적용했습니다. 언어 생성에 가장 중요한 `lm_head`만 원본으로 보호했습니다.
효과: 모델 파일 크기를 크게 줄여 메모리 점수(MemNorm)를 챙기고, 추론 정확도(PerfNorm)를 방어했습니다. `embed_tokens`까지 양자화시켜 평가 속도는 늦춰졌지만, 크기 감소와 성능 유지 이점이 속도 감점을 일부 상쇄했습니다.

2. 8-bit(FP8) KV Cache 양자화
적용: 32K의 긴 문맥 처리 시 폭발하는 런타임 메모리를 억제하기 위해, 8-bit KV Cache 양자화를 수동으로 패칭했습니다.
효과: VRAM 병목 현상(OOM)을 해결하고 토큰 생성 속도를 대폭 끌어올렸습니다. W4A16 적용으로 인해 느려졌던 추론 시간을 단축시켜, 최종적으로 속도 점수(SpeedNorm)를 방어하는 핵심 역할을 했습니다.