안녕하세요. 대회 참가자 입니다.

모델 가중치 질문이 있어서 글 남깁니다.

규칙과 베이스라인 설명을 봤을 때, 실제로 로드 되는 모델의 가중치 합이 3B개 이고 베이스라인 구조(BLIP-2.7b)을 선택하더라도 경량화(예: LLM 교체, 양자화, LoRA, Q-Former 축소 등)를 통해 3B 미만으로 하라고 말씀하신 것을 확인했습니다.

여기서 질문입니다. 양자화는 모델 파라미터(weight,bias)의 개수를 줄이는 것이 아니라 타입(float15,float8,bfloat16등등)을 바꿔 경량화는 것이고 LoRA는 기존 모델 파라미터에 Adapter를 추가해서 Adapter만 학습하는 efficient tuning기법으로써 LoRA역시 파라미터 개수를 줄이는 방법이 아닙니다. (오히려 조금 더 늘어 나겠네요)

그럼에도 베이스라인 코드설명에는 "BLIP-2.7b를 사용하고 싶으면 LLM 교체, 양자화, LoRA, Q-Former 축소 등을 사용"하라고 해서 모델 선정 기준에 조금 혼동이 옵니다.

이에 대해 명확히 해주시면 감사하겠습니다.

감사합니다.

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

규칙 4)

추론 모델 가중치의 총합은 '3B' 미만

• 리더보드에 제출하는 예측 결과는 아래 조건을 반드시 충족해야 합니다.

🔹추론에 사용되는 모든 모델의 총 파라미터 수는 반드시 3B(30억 개) 미만이어야 합니다.

🔹이 기준은 추론 코드에서 실제로 로드(Load)되는 모든 모델의 가중치(parameter)의 수 합계를 기준으로 판단합니다.

※ 예시: 2B 모델 10개를 순차적으로 로드하여 각각 추론 후 메모리에서 제거하더라도, 추론 과정에서 총 10개의 모델 가중치가 각각 로드되므로 총합 20B로 규칙 위반에 해당합니다.

베이스라인 코드 설명)

참가자는 해당 구조를 기반으로 하더라도 반드시 경량화(예: LLM 교체, 양자화, LoRA, Q-Former 축소 등)를 통해 최종 파라미터 수가 3B 미만이 되도록 조정해야 합니다.

즉, BLIP2-OPT-2.7B는 구조적 참고용으로 제공된 것일 뿐이며, 실제 제출 모델은 반드시 규칙 내(3B 미만)로 최적화·경량화되어야 합니다.