Aimers 8th : Model Compression Online Hackathon

LG Aimers | Recruit | Algorithm | LLM | Code Submit | Compression

본선 진출
1,536 Users Completed

Closed

Overview Data Code (share) Talk Leaderboard

Submission

team Taehorizon

Taehorizon

공동작성자

2026.04.10 23:24 641 Views language

FP8 양자화
llmcompressor의 oneshot 파이프라인과 QuantizationModifier를 사용해, Linear 계층만 FP8으로 후처리 양자화했습니다. 별도 재학습 없이 calibration 데이터만으로 양자화를 수행하는 구조입니다.

calibration 데이터셋을 구성
양자화 calibration을 위해 한국어 모델의 실제 사용 패턴을 반영한 텍스트 세트를 구성했습니다. 데이터는 instruction-following 샘플, 기초 QA 샘플, AI/모델 경량화 관련 기술 문장으로 나누어 설계했으며 256개 calibration 텍스트로 확장

Code