제2회 팩토리핵 코리아

알고리즘 | 정형 | 회귀 | 산업 | MAE

  • moneyIcon Prize : 총 660만원
  • 54명 마감
Closed

 

대회운영 설명 및 후속조치 안내

2021.01.12 19:43 3,854 Views

안녕하세요. 한국전자기술연구원 윤성준입니다.


1월 11일 월요일에 문제용 원본 데이터를 업로드하는 과정에서 실수로 validation data가 일정시간 유출된 걸로 알고있습니다.


우선적으로 이와같은 문제가 발생하여 실무책임자로서 죄송하게 생각합니다. 


이를 통해 제출결과의 공정성을 걱정하시는 것에 대해서 이해하고 통감하는바 입니다.


이와 관련하여 본 대회의 평가방식 및 운영방법에 대해서 우선적으로 설명드리고자 합니다.


1. 본 대회는 평가는 정량적인 내용과 정성적인 내용을 모두 포함하여 평가할 예정입니다.

- Validation data를 이용하여 무작정 예측성능을 높였다고 하여, 정량적 성적을 얻을 수는 있을지 모르겠으나, 정성적인 평가에서 좋은 점수를 얻을 수 없을 것 입니다.


2. 또한, 본 대회를 진행하는 해커톤 전문 플랫폼 데이콘의 대회운영 노하우를 통하여 이를 선별할 수 있습니다.

- 데이콘에는 데이터사이언티스트들을 보유하고 있고, 부정행위자들을 선별하는 능력을 보유한 기업입니다. 이말인즉, 대회진행 기간에는 단순히 리더보드의 성능점수 업데이트만 되겠지만,

대회 종료 후 평가기간에 수상대상 팀들의 모델들을 확인하여 검증하고 있습니다. 이 프로세스에서 실제 구현 여부 및 성능을 높이기위한 편법들을 확인하게 됩니다.


상기의 이유로 제출결과의 공정성이 훼손되지는 않을 것이라 판단됩니다.


다만, 본 상황이 발생한 것에 대해 다음과 같은 후속조치를 진행할 예정입니다.


1. 리더보드 상위권(수상팀)의 검증 강화


2. 심사위원을 통한 정량적, 정성적 평가 강화


본 대회를 진행하면서 문제가 발생한 것에 대해서 다시한번 사과 드립니다.


감사합니다

윤성준 드림