2025 Samsung Collegiate Programming Challenge : AI 챌린지

베이스라인 코드 게시글에 대한 질문입니다.

2025.06.22 19:32 756 Views

안녕하세요, 고생많으십니다!

베이스라인 코드에 대한 게시글과 규칙에 대해 질문이 있습니다.


제가 모델 개발 지식이 많이 부족합니다. 그래서 제가 틀린 정보를 알고 있을 수 있습니다.

LoRA 또는 양자화 방법으로는 모델의 총 파라미터 수를 줄이는 방법이 아니라,

학습이나 추론 할 때 메모리 연산량을 줄이는 방법이라고 알고 있습니다.


제가 여쭤보고 싶은 것은 베이스라인 게시글에 경량화를 LoRA, 양자화를 예시로 설명해주셨는데요,

BLIP2-OPT-2.7B 모델을 해당 방법으로 연산량을 줄여서 실질적으로 학습되는 파라미터의 수가 3B 이내가 되면 되는 것인지 궁금합니다.

그게 아니라면 어떤 의미로 예시를 적어주셨는지 궁금합니다.

Login Required
0 / 1000
zzuniie
2025.06.22 21:20

양자화는 파라미터 수를 줄이지 않기 때문에, 3B 미만 제한을 만족하기 위한 직접적인 수단은 아닙니다.
다만, 양자화는 2차 평가 항목 중 ‘최적화’ 측면에서 고려 가능한 옵션으로 언급된 것이며, 참가자는 LLM 축소, 구조 단순화 등 실제 파라미터 수를 줄이는 방법을 포함해 여러 기법을 조합하여 자유롭게 경량화를 시도하실 수 있습니다.
라고 데이콘 측 답변 있습니다

디모
2025.06.25 02:28

감사합니다

Previous
제출물 문의
Competition - 2025 KHD (Konyang Health Datathon)
Likes 6
Views 377
Comments 1
2달 전
Current
베이스라인 코드 게시글에 대한 질문입니다.
Competition - 2025 Samsung Collegiate Programming Challenge : AI 챌린지
Likes 6
Views 756
Comments 2
2달 전
Next
실격 처리 확인
Competition - 2025 Samsung Collegiate Programming Challenge : AI 챌린지
Likes 11
Views 906
Comments 5
2달 전