Aimers 8th : Model Compression Online Hackathon

캘리브레이션 데이터 없이 가중치의 자체 통계치만으로 압축 진행(Data-Free W8A8)

1. 속도 및 메모리 측면
 양자화 속도: 데이터를 모델에 통과시키며 활성화 값(Activation)의 분포를 관찰하는 캘리브레이션 과정이 완전히 생략되었습니다. 연산량이 대폭 줄어들어 양자화 프로세스 자체가 단 몇 분 만에 종료됩니다.
 추론 속도 향상 및 VRAM 절약: 모델 가중치와 활성화 값을 모두 8비트(INT8)로 처리하므로, 모델 용량(safetensors)이 대략 절반으로 줄어들고 메모리 대역폭 병목이 해소되어 토큰 생성 속도(Throughput)가 크게 향상됩니다.
 동적(Dynamic) 오버헤드: 활성화 값을 추론 시점에 실시간으로 양자화(Dynamic per-token)하므로 약간의 연산 오버헤드가 발생하지만, 16비트 연산 대비 얻는 속도 이점이 훨씬 커서 무시할 만한 수준이였습니다.

2. 성능 및 정확도 측면
 아웃라이어(Outlier) 대응 불가: Data-Free 방식의 가장 치명적인 약점입니다. 언어 모델은 긴 문맥이나 복잡한 추론 시 내부 값이 비정상적으로 크게 튀는 현상(아웃라이어)이 발생합니다. 실제 데이터를 보지 않고(Blind) 눈금자를 고정해 버렸기 때문에, 실전에서 아웃라이어를 만나면 계산 오차가 폭발하여 텍스트 품질이나 논리력이 크게 붕괴합니다.
 최소한의 안전장치: 그럼에도 `torch_dtype=torch.bfloat16`으로 모델을 로드하여 초기 가중치 손실을 막고, 언어 생성에 가장 예민한 `lm_head`를 `ignore` 처리하여 원본 정밀도로 보호했습니다.