2025 Samsung Collegiate Programming Challenge : AI 챌린지

채용 | SCPC | 알고리즘 | 비전 | LLM | 생성 AI | 멀티모달 | 정확도

  • moneyIcon 상금 : 6,000만원
  • 1,445명 마감
마감

 

Private 3rd, 최종 4등 LoRA-based slicing

2025.09.03 15:11 77 조회 language

https://github.com/naturesh/bridge-blip 자세한 내용은 깃허브 참고 부탁드립니다.

저는 baseline과 같은 종류인 blip 계열 모델에서 불필요한 파라메터를 제거하여 대회 조건을 만족시키면서 객관식 문제를 풀고자 하였습니다.
따라서 instructblip-flan-t5-xl 모델 약 4B 모델에서 flan-t5-xl의 decoder 파트가 담당하는 Autoregressive 한 능력을 제거해 파라메터를 줄이고자 하였습니다.

학습은 간단히 LoRA 와 Classfication Head만을 학습하기 때문에 A100 40GB 기준 2시간 30분정도 소요됩니다. 

PDF
로그인이 필요합니다
0 / 1000
Spatz
2025.09.04 10:28

공유 감사합니다. 저랑 같은 발상을 떠올리셨는데 구현 방식이 다른 게 흥미롭네요..!!