2026 성균관대학교 멀티모달 AI Bias 챌린지

안녕하세요, 이번 2026 SKKU Multimodal AI Bias Challenge에서 장려상을 수상한 kolonist26 입니다.

인터뷰 겸 대회 리뷰를 남기면 좋을 거 같아, 글을 작성해보게 되었습니다.

현재 저는 VLA를 통해 여러 가지 연구를 진행하고 있으며, 그중 VLA가 과연 사물 또는 배경을 제대로 인식하고 동작하는 것일까 라는 의문을 가지고 있습니다. 관련된 논문들 보면, VLA -> VLM은 LLM Backbone을 기반으로 다른 모달을 추가한거라, 실제로는 반쪽짜리 multimodal이라는 연구도 나오고 있으며, 최근에는 이를 의식하듯, 태생부터 multimodal 구조를 고려한 VLM 모델들이 많이 나오고 있는 거 같습니다.

최근 VLA에서도 reasoning method가 연구되고 있고, 이번 대회가 Bias 없도록 하는 것이기에, 이번 기회에 편향이 생기지 않도록 명시적인 reasoning 데이터를 구축해보고 이를 바탕으로 fine-tuning해보자는 생각으로 대회에 참여하게 되었던 거 같습니다.

대회 초기 관련된 사전 연구를 빠르게 탐색하였고 Code 및 Talk 게시판을 통해 다른 지원자분들이 올려주신 인사이트를 파악할 수 있었습니다.

그중 특이했던 점이라면, 텍스트 없이 했을때 public score 기준으로 1.0이 충분히 나온다는점이었고, 이를 바탕으로 BBQ -> BBQ-V 순으로 사전 연구를 탐색했던 거 같습니다. 그래도 운영진분의 답변을 통해 private score에서는 이미지가 필요하다고 판단되어, 위와 같이 reasoning data를 구성하고 이를 fine-tuning하는 방향은 의미있다고 파악하여 유지하였습니다.

reasoning dataset은 공개되어있는 BBQ-V 및 BBQ 데이터셋을 다운로드하여 claude를 통해 라벨링을 하였습니다. 해당 데이터셋들이 정답 라벨은 있지만, reasoning에 대한 부분은 없었기에, 구축하는데 의미가 있었고 정답 라벨을 같이 전달하니 claude를 통해 3시간 정도면 이미지 포함해서 라벨링 모두 가능하였습니다. 해당 데이터셋은 관심 있는 분들이 많다면, 나중에 따로 github 등을 통해 공유해보고자 합니다.

해당 데이터셋을 qwen 최신 모델들에 fine-tuning 시켜보았으며, 이때도 Code 게시판을 통해 큰 모델일수록 기본적인 정답률이 높다는 것을 인지할 수 있었던 거 같습니다. 해당 과정에서 이미지 샘플링 기법이나, 추론 속도에 맞춰서 reasoning 길이를 재조정하거나, claude가 잘못 처리한 부분은 없는지 확인하면서 여러 버전의 fine-tuning 모델을 학습해보았던 거 같습니다. (큰 모델이 성능이 더 안정적이긴 하지만, 작은 모델도 충분히 성능이 잘 나오고 fine-tuning도 잘 따라옴을 확인할 수 있었습니다.)

추론 환경 및 시간에 제한이 있었기에, quantization을 수행하였고, 줄여놓은 reasoning과 quantization을 통해 충분히 큰 모델의 성능을 유지하면서 추론 환경의 제약을 만족시킬 수 있었던 거 같습니다.

아쉬웠던 점이라면, 일부 수상자분들 중 이미지를 버리는 방향으로 진행하신 분들이 계셨다는 점입니다. 사실 수상자분들께 아쉬운 점이라기보다 대회 이름부터 multimodal인데, 이미지를 제외하고서도 충분히 점수가 나온다면, 이는 대회의 취지에 알맞는 평가 데이터셋 구성이 부족하지 않았나 싶습니다. 다음에는 진짜 multimodal을 고려한 VLM 대회가 개최되면 좋을 거 같습니다. (context에서는 드러나지 않지만, 이미지를 확인해야지만 알 수 있는 정보를 바탕으로 답변 가능하다던지 등)

대회를 통해 좋았던 점은, 수상했다는 결과보다, 초기 달성하고자 했던 reasoning data 구축, 구축한 데이터를 바탕으로 fine-tuning 실험 등을 진행해볼 수 있어서 좋았고,

BBQ, BBQ-V라는 새로운 연구 분야를 알게 되었고 세미나를 통해 AI에 대한 최신 연구 분야를 빠르게 습득할 수 있었고 인사이트를 얻을 수 있어서 좋았던 거 같습니다.

앞으로도 dacon에서 좋은 대회가 많이 열려, 많은 도전을 할 수 있는 기회가 생겼으면 합니다.

좋은 대회를 구성해주신 성균관대학교 관계자분들, 대회 운영을 잘 진행해주신 dacon 관계자분들, 같이 대회에 도전했던 도전자분들 모두 수고 많으셨습니다.

감사합니다.