이미지 기반 질의 응답 AI 경진대회 월간 데이콘

알고리즘 | 멀티모달 | 언어 | 비전 | 이미지 기반 질의 응답 | Accuracy

상금 : 인증서
621명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[Private 3위, 0.62888] BLIP hard voting

GNOEYHEAT

2023.08.13 23:24 1,049 조회 language

안녕하세요 :)

BLIP (blip-itm-base-coco) 모델을 사용했습니다.

대회 기간 동안 ViLT, BLIP, GIT, BLIP-2 모델에 대해 논문을 읽어보고 구현했습니다.
추후 시간적 여유가 있을 때 공유할 수 있도록 노력하겠습니다.

* single model
- BLIP (seed 826) / pl: 0.58717, pr: 0.58967
- GIT (git-large) / pl: 0.55695, pr: 0.56271
- GIT (git-large) / pl: 0.55843, pr: 0.56483

* ensemble model (hard voting)
- BLIP (seed 0~8) / pl: 0.61352, pr: 0.62084
- BLIP (seed 0~8, 120, 415, 816) / pl: 0.61698 pr: 0.62235
- BLIP (seed 0~8, 120, 415, 816, 1005, 1011) / pl: 0.61970 pr: 0.62327
- BLIP (seed 0~8, 120, 415, 816, 1005, 1011) + GIT (git-large, git-large-r) / pl: 0.62489, pr:0.62856

A100(40GB)을 사용하여 학습했습니다.

감사합니다.