대학 대항전 : 퍼즐 이미지 AI 경진대회

Jigsaw-ViT 모델을 사용하여 Public 점수 0.95955 까지 달성하였는데, 시도해온 방법 공유드립니다.

Jigsaw-ViT 모델에서 보조적으로 사용하는 Jigsaw Puzzle Solving Task가 이번 대회 Task와 동일하기 때문에, 해당 Task만 사용해 학습했습니다.
공개된 Pretrained 모델은 이미지를 14x14 패치로 나누어 퍼즐을 푸는 구조인데, 14x14 패치 중 일부가 4x4 패치의 여러 패치에 걸치는 문제가 있어서, 사용하는데 어려움이 있다 판단했습니다.

대신 deit3_base_patch16_384 pretrained 모델 기반으로 Jigsaw-ViT 모델 구조로 변경해 사용했습니다. 이 모델은 이미지를 24x24 패치로 분할해 퍼즐을 푸는 구조이기 때문에, 나중에 4x4 퍼즐을 맞출 때 영역이 일치하지 않는 문제가 발생하지 않습니다.

학습은 기존 Jigsaw-ViT 설정을 그대로 가져와 사용했습니다.
처음엔 논문대로 Mask Ratio 0.5를 사용해 학습했고, 해당 방법으로 리더보드 점수 0.86 정도를 달성했습니다.
시간은 Colab V100 기준 24시간 정도 소요된 것 같습니다.

Random Masking을 하면 일부 패치를 버리기 때문에 학습 속도가 빠르다는 장점이 있지만, 추론 시에는 모든 패치를 보기 때문에 학습과 추론 사이에 차이가 존재하게 됩니다.
그래서 Mask Ratio를 점점 낮춰가며 학습했고, 일관된 성능 향상이 있었습니다.

검증 데이터에서 잘못 예측한 이미지들을 살펴보면서 발견한 문제점은 배경이 단조로운 경우 동일한 패치가 많이 생겨서 예측을 잘 못하는 것 같다고 판단했습니다.
패치 개수를 줄여보는 등의 시도를 해보시면 좋을 것 같습니다.

참고
Jigsaw-ViT: Learning Jigsaw Puzzles in Vision Transformer: https://arxiv.org/abs/2207.11971
데이터셋 코드는 이전에 파이썬초보만 님이 올려주신 코드를 수정했습니다.