분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
카메라 이미지 품질 향상 AI 경진대회
단일 VS 앙상블
다들 추론속도에 대한 고민이 많으실텐데, 단일하고 앙상블 중 어떻게 하실건가요?
아시겠지만 앙상블하면 성능은 확실히 많이 오르는데 이렇게 될 경우 속도가 거의 2배가 되는거라 제출을 어떻게 해야할지 고민이 많습니다.
https://dacon.io/competitions/official/235746/support/403859?page=1&dtype=recent
위의 글 에도 올라온 것처럼 채점의 경우 제출한 코드를 기반으로 Inference 바로 돌린다고 하는데, 다른분들은 어떻게 하실생각인가요?
저의 경우는 단일 혹은 2~3개정도 모델 앙상블해서 내는 걸로 생각하고 있습니다.
그렇군요 ㅠㅠ 한빈님네는 모델 추론속도는 괜찮으신가요? 저는 모델이 무거워서 그런지 베이스라인보다 훨씬 느려가지고 고민이 많습니다
자세하게는 말씀 못드리지만... 저도 베이스라인보다는 꽤 오래 걸리네요.. ㅠㅠ 제일 빠른 팀을 만점으로 하고 나머지 팀의 점수를 측정한다고 했는데 점수 배점을 어떻게 할지는 궁금합니다
ㅠㅠ 고민이 많습니다. 대회 끝나고 제대로 얘기 나눌 시간 있으면 좋겠네요
저희도 고민중입니다ㅠㅠ 추론속도를 손해보고 점수를 더 끌어올릴지,
PSNR 성능은 떨어지지만 훨씬 빠른 솔루션 방식을 최종에 선택할지
둘다 리스크가 존재해서 너무 고민입니다 ..
맞습니다 ㅠㅠ 앙상블 있고 없고에 따라서 거의 0.3 이상은 차이나는 것 같더라구요. 이게 Private Score가 어떻게 될지도 몰라가지고 결정하기가 어렵네요
어느쪽을 손해보고 어느쪽을 선택했으면 그에따른 점수체계를 알아야 저희가 전략적으로 선택을 할텐데, 그부분이 없다는 점에서 그냥 도박을 하고 있다는 생각입니다.
예전 카카오 추천시스템에서는 (다양한 추천을 했는지 엔트로피 점수 <-> 추천 성능) 와 같은 점수를 리더보드에서 모두 표시해줬기 때문에, 다양한 추천을 하는대신 성능을 잃거나, 다양한 추천을 조금 포기하고 성능을 높이는 등 전략적인 선택이 가능했습니다
농담반 진담반으로, 그냥 주사위 돌려서 몇개 선택할지 정해야죠 뭐
확실히 운이 많이 따를 것 같아요. 약간 눈치싸움이 될 것 같은
차라리 20개 전체를 처리하는데 걸리는 시간을 구간별로 나누어서 점수를 미리 공지 했다면 그 구간에 맞춰서 전략이라도 짤 수 있었겠는데 아쉽네요.
앙상블 전략은 PSNR을 개선하는데 효과는 있지만 추론 시간은 말씀하신대로 약 2배 가까이 더 소요되죠.
참가자들은 2차평가를 받기위해 어떻게든 1차 평가 대상인 PSNR을 올려야 하니 추론시간은 제쳐두고 앙상블 전략을 도전하는 사람이 많을 수 있을 것 같습니다. 경쟁이 계속되면 어쩔 수 없이 앙상블 전략을 선택해야 될 수도 있죠. 점점 상위 점수 분들의 추론시간은 다같이 늘어나기만 하는 문제가 있을 수 있겠습니다.
하지만 무엇보다 싱글로 PSNR이 높은게 최고의 모델이겠지만요 어렵네요ㅠㅠ
어떻게 될지 모르겠네요 ㅠ 최종은 꽤 순위가 바뀔지도 모르겠어요. 눈치싸움,,
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
저도 max 3개까지 앙상블 고려중입니다.. ㅎ