90 턱걸이 점수인데 저는 얼굴 crop까진 동일한거 같구요

EfficientNetB7 / AdamW / cosineannealing / batch 16

landmark 이용해서 augmentation 좀 많이 했고 

cv전략은 처음엔 5fold로 나눠서 하다가 나중엔 그냥 real fake에 모두 등장하는 사람만 train, 한쪽만 등장하면 valid로 나누니 85:15 정도로 나눠지더라구요. 그걸로 valid score 좋은거 찾아서 사용했어요
적은 epoch에서 이미 오버핏 되는거 같더라구요..

저는 efficientnet b3~b7다 사용해봤는데 mtcnn한 결과가 우선 더 안좋게 나왔습니다.. 정리해서 코드 공유에 조금 intuition을 제공할 수 있으면 할 것인디유.. 

efficientnet을 이용할 경우 input size 고려를 해줄 필요가 있는데 이미지를 mtcnn을 통과시키면 기본 사이즈가 200x200정도로 작아집니다. 이를 Resize해서 model을 돌릴 경우 성능이 안좋아지더라구요. 그리고 fgsm은 일반 노이즈랑 달라서 저 생각에는 model이 자체적으로 denoising을 하려면 이미지 내에 더 invariant한 information이 더 필요하다 생각하였고 일부로 배경을 꼭 넣어서 training하는 게 중요하다고 생각했습니다...

마지막으로 dataset을 살펴보신거 같은데 중복에 가까운 data가 너무 많아서 조금 돌려도 overfitting되는 것으로 판단했습니다.
ensemble method 중에 bagging이라는 방법이 있는데 이에 착안을 해서 매 epoch마다 2000~4000개 정도의 data를 random sampling을 했습니다..

자세한 것을 코드 공유에 올릴텐데 개선할 부분이 보이거나 궁금한 부분이 더 있으시다면 질문 남겨주시면 감사하겠습니다..