1. 리더 보드
- 평가 산식 : Normalized RMSE (NRMSE)
def lg_nrmse(gt, preds):
# 각 Y Feature별 NRMSE 총합
# Y_01 ~ Y_08 까지 20% 가중치 부여
all_nrmse = []
for idx in range(1,15): # ignore 'ID'
rmse = metrics.mean_squared_error(gt[:,idx], preds[:,idx], squared=False)
nrmse = rmse/np.mean(np.abs(gt[:,idx]))
all_nrmse.append(nrmse)
score = 1.2 * np.sum(all_nrmse[:8]) + 1.0 * np.sum(all_nrmse[8:14])
return score
- Public score : 전체 테스트 데이터 중 30%
- Private score : 전체 테스트 데이터 중 70%
2. 평가 방식
- 1차 평가 : 리더보드 Private Score
- 2차 평가 : Private Score 상위 10팀 코드 및 PPT 제출 후 온라인 발표 평가
- 2차 평가 기준
3. 개인 또는 팀 참여 규칙
- 개인 또는 팀을 이루어 참여할 수 있습니다.
- 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
- 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
- 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
- 팀 최대 인원: 5 명
- 동일인이 개인 또는 복수팀에 중복하여 등록 불가
4. 외부 데이터 및 사전 학습 모델
- 외부 데이터 사용 불가
- 법적 제약이 없으며 공개된 사전 학습 모델(Pre-trained Model) 사용 가능
5. 코드 및 PPT 제출 규칙
- 대회 종료 후 2차 평가 대상자는 아래의 양식에 맞추어 코드와 PPT를 dacon@dacon.io로 기한 내에 제출
- 제출한 코드는 Private Score 복원이 가능해야 함
o 코드에 ‘/data’ 데이터 입/출력 경로 포함
o 코드 파일 확장자: .R, .rmd, .py, .ipynb
o 코드와 주석 인코딩: UTF-8
o 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)
o 개발 환경(OS) 및 라이브러리 버전 기재
o 2차 평가 기준(2. 평가 방식 -> 2차 평가 기준)에 맞춰 자유 양식으로 작성
o 각 팀원의 역할 명시
o 발표 시간 10분 분량으로 준비
o 학습이 완료된 모델 파일
o 전체 실행 프로세스 및 코드 실행 방법을 정리한 readme 파일
o Private Score 복원이 가능한 코드 파일
o 온라인 대면 평가 발표 PPT 자료
o 입사 희망 여부
6. 유의 사항
- 1일 최대 제출 횟수: 3 회
- 사용 가능 언어: Python, R
- 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 실격
- 평가 데이터셋(Test Dataset)의 Row의 개수 혹은 Index (그 밖의 Test Dataset에 대한 정보)를 활용하는 것은 Data Leakage에 해당됩니다.
- 일반적으로 Test Dataset은 '아예 볼 수 없다' 라고 가정하고 진행해야하며 코드 역시 이를 반영해야합니다.
- 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 2개를 선택해야 함
- 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
- 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.
https://dacon.io/notice/notice/13
7. 토론(질문)
- 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
- 데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.
예) [DACON 답변 요청] 시상식은 언제 열리나요?
Prize :
Total 1,000만원
