Samsung AI Challenge for Scientific Discovery

알고리즘 | NLP | 회귀 | 물성 | MAE

 

평가 문의

작성자 비공개
2021.08.09 17:45 1,220 조회
  • 코드 평가시 비공개 데이터셋 평가가 이뤄지며 리더보드 점수와 상이할 경우 수상 제외

이라는 문구가 있는데 Public과 Private 차이가 크면 수상 제외라는 것일까요? 아니면 Private 점수와 재현 점수가 다를경우 수상 제외라는 것일까요?

로그인이 필요합니다
0 / 1000
DACONIO
2021.12.21 15:19

안녕하세요. 작성자님

대회 종료 후 제공된 Test 데이터 외 미제공 Test데이터를 통한 추가 검증이 진행될 예정입니다.
제공된 Test 데이터와 제공되지 않은 Test 데이터 사이에 차이가 상이할 경우 제외 이며
해당 평가 이유는 과제 특성상 Data Leakage가 발생할 수 있기에 이를 확인하기 위함입니다.

감사합니다.
데이콘 드림

anonymous
작성자
2021.08.09 18:41

답변 감사합니다. 그런데 해당 이슈가 Data Leakage에 의함인지 Overfitting에 의한건지는 확인하기 어렵지 않나요? 일반적인 다른 데이콘 대회만 봐도 Public과 Private간의 괴리가 있는 대회들이 많았는데, 해당 이슈에 대해서도 어떤 고안이 있으실까요? 

DACONIO
2021.12.21 15:19

안녕하세요. 작성자님

TestSet을 이용한 Leakage와 단순 과적합사이에는 성능상 큰 차이가 발생합니다.
최종 기준은 대회 종료 후 결과물들을 종합적으로 판단하여 기준을 정할 예정입니다.
단순 과적합에 의한 피해는 없도록 진행하겠습니다.

감사합니다.
데이콘 드림