1. 이미지의 context를 patch에 어떻게 넣을까 고민하다가
이미지를 여러 방식으로 normalization 하고 patch를 자른다던지 concat하여 입력으로 넣는 방법을 고려했습니다.

2. SR모델에 이미지를 resize하여 입력으로 넣고 upsampling 후에 원본이미지를 더해주는 방법을 고려했습니다.

완벽한 테스트를 하진 못했지만 두 방법 다 유의미한 스코어 향상은 없었습니다. 

더 생각해 본 건 빛번짐이 사진 상의 위치에서 다르게 나는것 같아 patch에 어떻게 좌표정보를 넣을 지를 생각해 봤습니다. 

삭제된 댓글입니다

EfficientNetV2에서 사용된 Progressive Learning이 굉장히 흥미로워서
이를 적용한 학습을 구성해 보았지만, 아쉽게도 좋은 성적을 받지는 못했습니다.

Training Dataset의 Image Size를 에폭에 따라 점차 키워가면서 학습하는 방법인데
Image Size에 따른 성능 향상과 학습속도 저하의 Trade Off 를 어느정도 완화해줄 수 있을 것이라고 생각했습니다.
훈련 과정에서는 20에폭마다 패치의 크기를 192x192x3 → 256x256x3 → 320x320로 Resampling하여 사용하고 
추론 과정에서는 320x320x3 크기의 패치를 사용했습니다.

다만 RandAugment, Distributed Train Step 구현 및 Modeling 과정에서 시간을 너무 많이 사용해서 다양한 실험은 진행하지 못했습니다.

경량화와 관련된 내용은, 처음에 큰 모델로 학습시켜서 어느 정도의 성능을 높인 후 작은 모델로 넘기는 방법을 고민했습니다.
구체적으로는 Knowledge Distillation, Weight Pruning, Quantization 등을 후보로 두었습니다.
경량화가 전문 분야는 아니지만, TensorFlow와 PyTorch 모두에서 이와 관련된 좋은 튜토리얼을 제공하고 있기 때문에 충분히 구현은 가능할 것으로 보았습니다.

이번 대회를 계기로 다른 분들의 코드를 보면서 좀 더 겸손해 질 수 있었던 것 같습니다.
다른 분들도 모두 노력한 만큼 좋은 결과 얻으시길 바라겠습니다.

1번 방법 비슷하게, 전체 이미지를 패치 사이즈(256x256)로 리사이즈 한 이미지 + 패치 이미지가 전체 이미지에서 차지하는 영역을 1 나머지를 0으로 한 마스크(256x256), 패치 이미지(256x256) 이렇게 7채널 입력을 가지고 학습시켜봤는데 27점 정도의 성능이 나왔습니다.

패치를 작게하고 패치 주변의 값들을 보충해주기 보다는 패치를 크게하는게 성능이 좋을 것 같다는 생각이 들어서 패치를 크게만들었는데 속도가 너무 느려서 이미지 크기를 줄이고 줄어든 이미지에서 패치를 뽑아내 학습시켰더니 29점 정도로 성능이 크게 올라갔습니다.

추가로 테스트 데이터셋의 이미지의 채널 별 평균, 분산 값과 학습 데이터셋 이미지의 채널 별 평균, 분산 값을 구해서 값이 유사한 이미지를 매칭하여 검증 데이터셋을 만들었는데 랜덤하게 추출한 검증셋보다는 정확했던 것 같습니다.

저는 pixel loss와 더불어 SRGAN 논문에 나온 content loss(vgg19 pretrainted model로 특성맵을 구한 후 MSE 적용)를 함께 적용해보았습니다.
대회를 진지하게 준비한건 이번이 처음이라 성능은 딱히 좋은 편은 아니었지만 다른 분들은 pixel loss 외에 어떤 loss를 적용해보셨는지 궁금하네요.