각 task를 1.마스크 예측 2.흑백이미지복원 3.이미지 색상화 로 구분하고

1.마스크예측 : 간단한 segmentation모델

2.흑백이미지 복원 : stable diffusion기반 inpaint(vae 샘플링 제거 -> ae)

3.이미지 색상화 : stable diffusion기반 색상화(ae에 residual path추가해서 unet화. 기존 내부 unet을 통해 color 이미지의 latent예측)

이외에 잡다한것들(perceptual loss, 다른 diffusion 방법 등) 을 시도했는데 최종적으로 결과는 그닥 좋지 않았습니다.

https://huggingface.co/jwengr/stable-diffusion-2-gray-inpaint-to-rgb