Valid - LB 관련

딥페이크 변조 영상 탐지 AI 경진대회

Valid - LB 관련

뭉뭉

2020.11.05 13:05 4,228 조회

참여자여러분께 묻고싶습니다.

현재 저는 4fold로 학습하고 있는데, valid accuracy가 98%이상을 웃돌때도 LB는 78%, valid accuracy가 90% 정도일때 LB가 82%정도 되던데,

다들 Valid-LB가 일치하시나요?

fold는 사람별로 나눴습니다.(그래서 train-valid dataleakage는 없다고 예상하고 있습니다)

댓글 6개

로그인이 필요합니다

comment

0 / 1000

서울대-재현

2020.11.05 13:54

LB 데이터에 포함된 이미지를 살펴 보시면 아실 수 있겠지만 train data대비 noisy 함을 관찰하실 수 있을 것 입니다. LB셋에는 "탐지 방해"가 적용된 샘플들이 포함되어 있습니다. 제 짧은 생각에는 이것이 val-test 성능 괴리의 원인이 아닐까 합니다. 도움이 되셨으면 합니다.

뭉뭉

2020.11.05 13:58

아 그렇군요. 확인하였습니다. 감사합니다

ChrisYang

2020.11.05 23:15

탐지 방해 요인이라고 하면 어떤걸 말씀하시는건지 알 수 있을까요?

서울대-재현

2020.11.06 15:05

해당 데이터에 적용된 탐지 방해 관련해서는 저희도 확인할 수 없는 부분입니다.
다만 관련된 학술자료 참고 부탁드립니다.
https://openaccess.thecvf.com/content_WACVW_2020/papers/w4/Yeh_Disrupting_Image-Translation-Based_DeepFake_Algorithms_with_Adversarial_Attacks_WACVW_2020_paper.pdf
- https://arxiv.org/pdf/2006.12247.pdf
- https://arxiv.org/pdf/2003.01279.pdf