이미지 기반 질의 응답 AI 경진대회 월간 데이콘

알고리즘 | 멀티모달 | 언어 | 비전 | 이미지 기반 질의 응답 | Accuracy

상금 : 인증서
621명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[Private 5th] BlipForQuestionAnswering

IDW

2023.08.12 23:29 897 조회 language

허깅페이스의 BlipForQuestionAnswering 구현체 + official pretrained BLIP weight를 기반으로 VQA task에 fine-tuning 시켰습니다.

전반적으로 가용 메모리가 작아서 (8gb) 메모리 효율적인 학습을 지향하였습니다.
- Freeze image encoder : Locked Image Tuning, BLIP2를 참고하여 freeze
- Gradient checkpointing
- Gradient accumulation (x4)
- Mixed precision training (fp16)

궁금하신 점은 질문주세요. 감사합니다.

코드