저는 학습데이터셋 LR 이미지의 downscale 방식이 너무 제각각이라 restoration model를 거친 후 HAT 모델에 적용하였습니다. 저도 super resolution이 이번이 처음이라 순위권에 계신 분들의 방법이 매우 궁금하네요! 

저희도 HAT-L 모델 사용했습니다.
다만 디폴트로 돌리셨다면 이터레이션이 적어보이네요. 
제 기억으로는 250k 돌리니까 25 정도 진입하고, 150k 일때 24.7 정도 나왔던것으로 기억합니다.

v100 or a40 vram 40gb 이상 으로 batch size 4 돌렸습니다.
순수학습만 2주넘게 쓴거같네요. 

여러가지 augmentation 이랑 lr degradation 기법 적용햇습니다.
추가 데이터도 넣어봤구요. 
안해도 HAT-L 자체가 25 근처까지는 갔엇구요 
했을때 0.5 포인트정도 올라갔는데 저도 시간이 부족해서 더 학습은 못했습니다. 그래프 보면 더 올라갈거같긴합니다. 
곧 정리해서 코드게시판에 올릴게요. 

오오 다들 ㅠㅠ 시간이 부족한다고 느끼는건 동일하네요

Transformer 계열은 다양하고 방대한 데이터에 대해서는 효과적이지만 한정된 데이터에 대해서는 좋지 않을 것이라는 판단하에 (https://arxiv.org/abs/2010.11929) HAT을 사용하지 않았고요.
경험상 densenet이 효과적일 것이라 판단했고 BasicSR repository 안에 있는 rrdbnet(https://github.com/XPixelGroup/BasicSR/blob/master/basicsr/archs/rrdbnet_arch.py)을 baseline으로 사용했습니다.
대회가 PSNR만 보기때문에 GAN loss 등의 부가적인 loss는 다 떼고, L2 loss로만 학습하였습니다.
test image와 train image가 같은 카메라로 찍었고, lr을 만든 방식도 같다라는 가정하에 rotation, flip의 augmentation만을 사용했습니다.
트레이닝 때는 CLIP 모델 적용, network 구조변경, hyper-params 조정 등을 시도해보았고,
inference 때는 flip, rotation 등을 이용한 ensemble 등을 시도하였습니다.

colab plus 환경에서 진행했어요. 
모델은 real-esrgan 사용하였습니다.
pretrained model 로 훈련없이 제출하면 20.8 정도 점수가 나왔더군요.

훈련)
1. psnr 을 위해서 perceptual loss 의 가중치를 매우 낮추어 학습을 진행했습니다.  
2. 그리고 real-esrgan 에서 usm the ground-truth 값을 전부 False 하였습니다. 이것 역시 perceptual 을 높이기 위한 기술이라 판단했거든요.
1, 2 를 조정하니 점수가 좀 올랐습니다.
그리고 몇몇 옵션들을 추가로 조정해서 (learning rate, crop size, ..) 학습이 진행 될 수록 계속 점수가 올라갔습니다.
  
train 의 hr 이미지를 가지고 lr degradation 을 만들어 훈련도 진행해보았으나 훈련시간이 좀 더 길어질거라 판단되어 
실제 진행은 train 데이터로만 하였습니다. (대회 중간에 colab 이 종량제가 되어서요. 긴 훈련은 엄두가 안났습니다.)

colab 이 종량제가 되어 a100 을 36시간 돌리면 컴퓨팅 파워를 추가로 돈주고 충전(pay as you go선택)해야 되네요..
대회 10등 안에 들면 재현을 위해 또 colab 결재를 해야 했기에 11등 밖으로 되길 빌었습니다. 크윽 ㅠㅠ