안녕하세요. 이번 대회에서 사용 가능한 데이터셋과 모델이 제한되어 있어서 어려움을 겪고 있는데 많은 분들이 질의해주셨습니다. 헷갈리는 부분들이 많아 스스로 정리를 해봤고 다른 분들께 조금이나마 도움이 되고자 간단히 정리해봤습니다. 혹시나 잘못된 부분 있으면 댓글 남겨주세요~

models

사용 가능

• instructblip-flan-t5-xl ⇒ 추론시 3B로 줄이면 가능
• phi-2
• Tyrannosaurus/TinyGPT-V
• https://huggingface.co/timm/ViT-SO400M-14-SigLIP-384
• Qwen/Qwen-1_8B
• https://github.com/NVlabs/prismer

사용 불가능

• stabilityai/stablelm-2-1_6b
• Qwen/Qwen1.5-1.8B

datasets

사용 가능

• WIT(https://huggingface.co/datasets/google/wit)
• vqav2-small: https://huggingface.co/datasets/merve/vqav2-small
• VQAv2: https://huggingface.co/datasets/lmms-lab/VQAv2
• diffusiondb https://huggingface.co/datasets/poloclub/diffusiondb
• LLaVA-Recap https://huggingface.co/datasets/lmms-lab/LLaVA-ReCap-558K
• LLaVA-NeXT https://huggingface.co/datasets/lmms-lab/LLaVA-NeXT-Data/tree/main
• LAION - caption만
• CC3M - caption만
• visualcommonsense https://visualcommonsense.com/
• vcr https://paperswithcode.com/dataset/vcr
• lmms-lab/LLaVA-OneVision-Data
• Visual Genome(VG)

사용 불가능

• LAION - 이미지
• CC3M - 이미지