분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Aimers 8기 : 모델 경량화 온라인 해커톤
vllm serving 관련하여 pruning을 진행했을 때 에러가 발생할지 문의드립니다.
structure pruning 을 진행하여 레이어 별로 헤드 개수를 다르게 제거해줬을 때, 예를들어
model.layers[0].self_attn.num_attention_heads 는 5개이고, model.layers[4].self_attn.num_attention_heads는 12개로 줄여줬을때 모델의 레이어마다 attention 헤드 개수가 달라지는데 vLLM은 "모든 레이어의 Head 개수는 config.num_atention_heads로 동일하다"라는 제약사항이 있는것으로 확인이 되어 커스텀 config 를 따로 만들어서 헤드 개수를 관리해도 평가되는 서버에서 vLLM을 사용한다면 제출 에러가 발생할까요?
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
본 대회 제출물은 고정된 평가 서버 환경에서 정상 작동해야 하며, 온라인 해커톤(Phase2)에서는 vLLM 수정은 허용되지 않습니다.
config.json 파일은 수정가능하나, 규칙 위반 혹은 악용 사례가 발견되는 경우에는 불이익이 주어질 수 있습니다.