대학 대항전 : 퍼즐 이미지 AI 경진대회

인간이 퍼즐을 푸는 과정을 Transformer Architecture에 접목하려고 시도했습니다.

모델은  크게 2단계로 나누어져 있습니다.
1. 각 패치를 중심으로 인접한(상하좌우) 패치를 찾아 매트릭스 형태로 예측(16*16). 이를 통해 각 패치의 연결관계와 연결된 모양(ㅏ,ㅗ,ㅜ,ㅓ,+, ㄱ, 등)을 알 수 있음.
2. 1단계에서 구한 패치의 모양을 position bias로, 패치의 연결관계를 attention bias로 모델에 다시 입력. 최종 순서 예측

몇 가지 실험을 통해서 발견한 주요한 점은
1. patch embedding : 모델 학습 안정(4*4, relative pos는 시도해보지 않음)
2. model weight sharing : 모델 학습속도
3. joint training: 모델 학습속도(loss를 합쳐서 한번에 update)
입니다.

중간에 학습을 잘못 멈춰서 조금 더 학습을 한다면 0.88 이상은 가능하지 않을까 합니다.
해당 코드에는 추가적인 data transform, model ensemble, 등 이 포함되어있지 않습니다.

작성한 코드가 정확하지 않을 수 있습니다.  transformer 접근법, utility등이 다른분들께 도움이 되었으면 좋겠습니다.

Reference
vision electra : https://openreview.net/pdf?id=yKC6Jd0CsP
vit jigsaw : https://www.sciencedirect.com/science/article/pii/S0167865522003920

수정1)
trainer.fit 부분에서 limit_train_batches, limit_val_batches 해제해주셔야합니다.
수정2)
def attention_forward 에서 attn + attn_bias 를 attn = attn + attn_bias 로 바꿔야합니다