• 본 경진대회는 주어진 비디오에서 화자 얼굴의 진위여부를 판단하는 모델을 개발하는 것을 목표로 합니다.
• 가짜 영상(fake)은 일반적으로 소스 영상의 얼굴에 다른 얼굴을 crop-warping-overlap 하고 자연스러움을 위하여 color, edge smoothing과정을 거쳐 생성되게 됩니다. (아래 예시 그림 참조)

• Deep face detection 모델은 가짜 영상의 생성 과정에서 발생하는 부자연스러움 즉, 해상도 불일치, Color inconsistency, smoothness, 얼굴 pose 등의 특징을 찾을 수 있도록 학습합니다.

• Task는 입력 영상의 binary classification, 즉 real/fake를 구분하는 것으로 VGG, ResNet 등의 ImageNet classification에 쓰이는 다양한 뉴럴넷들이 사용될 수 있으며, 학습 효율성을 높히기 위하여 변형이 이루어지는 부분 (얼굴 부분)을 찾아서 crop 하여 뉴럴넷 입력에 넣어주는 방법이 효과적인 것으로 알려져 있습니다.  

• 이번 공개된 학습 데이터셋은 원본/합성 비디오에서 1초에 2장씩 샘플링된 이미지로 이루어져 있습니다. 제공된 이미지에서 얼굴 부분을 찾아서 Crop하는 전처리를 거치는 것을 추천드립니다. 가장 많이 쓰이는 얼굴 검출기로 MTCNN, BlazeFace가 있으며 아래 링크를 참고하시기 바랍니다.

MTCNN (https://github.com/ipazc/mtcnn)

BlazeFace (https://github.com/hollance/BlazeFace-PyTorch)

• 이와 같은 task를 수행하는 최근 공개된 논문 "Video Face Manipulation Detection Through Ensemble of CNNs, ICPR, 2020"의 모델이 github에 공개되어 있습니다. (https://github.com/polimi-ispl/icpr2020dfdc) , 전처리 과정에서부터 모델을 학습시키는 방법을 직관적으로 확인하실 수 있으며 모델 구성 및 학습에 참고하시면 좋을 것 같습니다.