AI 양재 허브 인공지능 오픈소스 경진대회

알고리즘 | 비전 | Image Super-Resolution | PSNR

 

[DACON 답변요청] 리더보드 public vs private 데이터 질문

2022.09.11 17:54 2,074 조회

대회 규칙 중에 리더보드 관련하여 test data 중 30%가 public score 리더보드로 사용되고, 100%가 private score로 사용된다고 나와있습니다.


이와 관련하여 질문이 있습니다.


모든 참가자가 public으로 평가 받는 데이터는 모두 동일한 것인지, 제출할 때마다 랜덤으로 30% 데이터가 public score 계산에 사용되는지 궁금합니다.


예를들어,

(1)

9월 11일 17시에 제출했을 때는 20001.png, 20003.png, 20005.png, 20015.png, 200016.png가 public score로 계산,

9월 11일 23시에 제출했을 때에도 동일하게 20001.png, 20003.png, 20005.png, 20015.png, 200016.png가 public score로 계산


(2)

9월 11일 17시에 제출했을 때는 20001.png, 20005.png, 20009.png, 20015.png, 20017.png가 public score로 계산,

9월 11일 23시에 제출했을 때는 20002.png, 20008.png, 20009.png, 20011.png, 20017.png가 public score로 계산


두 방법 중 (1)로 계산되고 있는 것인지 궁금하네요.


감사합니다.

로그인이 필요합니다
0 / 1000
DACON.GM
2022.09.12 01:20

안녕하세요 라미라미님,
Public / Private 데이터는 대회 설계 과정에서 이미 사전에 샘플링된 데이터셋으로 모든 시점에서 동일하게 채점됩니다.
즉, 본문에 예로 들어주신 (1)의 방법이 맞습니다.
감사합니다.