Aimers 8th : Model Compression Online Hackathon

안녕하세요, submission server에서 발생하는 "Time Out (20분 후 제출 오류)" error에 관련하여 질문이 있습니다.

에러 메세지를 확인할 수 없지만 여러 차례 테스트해본 결과, root cause는 "conpressed-tensor" 라이브러리 포맷으로 생성되지 않은 체크포인트에서 의존성 문제라는 결론을 얻었습니다. "compressed-tensor" 기반으로 양자화되지 않은 경우 해당 (e.g., gptqmodel) 라이브러리를 설치하기 위해 빌드 휠이 돌아가고, 이로 인해서 시간이 소모되면서 평가를 할 수 없다는 것으로 추측 됩니다.

여기서 생기는 의문점은, "그렇다면 양자화를 하기 위해서 "compressed-tensor (llm-compressor)" 라이브러리만 사용해야 하는가?" 입니다. 저는 이로 인해서 포기하는 이점들이 굉장히 많다고 생각하며, submission server와 동일한 환경에서 실험한 `vllm serve`, `lm-eval` 결과 지표들도 이를 반증하고 있습니다.

"llm-compressor"를 의존성으로 설계하신 이유는 추측컨데, 부정 행위 방지 또는모델의 사전 검증 등의 이유가 예상됩니다. 그렇지만 이는 참가자들이 사용할 수 있는 오픈소스의 범위를 극도로 제한하고, 이로 인해서 더 나은 경량화 전략을 설계하기 어렵도록 하고 있습니다. 보다 다양한 오픈소스들을 활용할 수 있는 방법이 없을지, 운영진 분들의 의견을 여쭙고 싶습니다.