카메라 이미지 품질 향상 AI 경진대회

여러분들은 CV와 Public LB 점수가 비슷하게 나오시나요?

2021.07.19 15:16 2,861 조회

다른 분들은 CV와 Public LB점수가 비슷하게 나오시는 지 궁금합니다.


또 Private은 Test set 전체 20장, Public은 6장으로 채점이 이루어지는데

CV 세팅을 어떤식으로 하고 계신가요??


저같은 경우에는 CV와 Public LB 점수가

실험을 설정한 방법에 따라서, 혹은 사용하는 모델에 따라서 CV와 LB점수의 격차가 매번 다른것 같습니다


여러분들은 어떤가요? CV와 LB 점수가 비슷하게 잡히고 있는지 궁금합니다

로그인이 필요합니다
0 / 1000
딥러닝잘하고싶다
2021.07.19 16:49

저도 고민하고 있는 부분인데요. 많으면 5점 이상까지 차이가 나고 있습니다. 그런데 cv 가 오른 만큼 lb도 오르고 있기는 해가지고 상대적으로 평가하고 있습니다. 다만, cv도 계속 바꿔보면서 실험을 하고 있어서 달라질 때도 있기는 합니다.

dev-hunmin
2021.07.19 16:56

제 상황과 많이 유사한 것 같습니다. 저 역시도 격차가 5점이상 나는 경우도 있었는데 추세는 맞게 나오는 것 같아서 갓한빈님처럼 평가하고 있는 상황입니다. 의견 주셔서 감사합니다!

이세진
2021.07.19 19:42

전 코랩 사용하는데 CV하면 시간이 너무 걸리네요. 다른 분들은 상황이 어떠신가요?

최정명
2021.07.19 22:41

저도 오래 걸립니다 ㅠㅠ 
그래서 저는 훈련데이터는 훈련동안에 PSNR을 측정하지 않고 검증 데이터만 측정하고 있어요.

최정명
2021.07.19 22:46

저는 2-3 정도 차이가 나는 것 같습니다. 저도  CV LB 제출했을 때 경향은 비슷합니다.
그리고 분리는 랜덤값 하나로 고정하고 랜덤하게 분리하여 사용중인데 다른 글들을 보니 GroupKFold도 추천을 하시더라고요.
이걸 적용을 해볼까 하는데 잘 됐으면 좋겠네요 ...ㅠㅠ