현재 리더보드에서 99% 후반대의 매우 높은 점수가 확인되고 있는데, 이와 관련하여 단순히 해당 제출의 삭제 여부를 넘어 운영진의 명확한 설명이 필요하다고 생각하여 문의드립니다.

제가 가장 우려하는 부분은 특정 참가자가 실제로 어떤 방법을 사용했는지를 단정하는 것이 아닙니다. 더 근본적인 문제는 만약 인터넷, 지인, 외부 데이터 등을 통해 Test 데이터의 정답 또는 정답과 매우 강하게 연결된 정보가 일부라도 유통되고 있는 상황이라면 이를 어떻게 탐지하고 처리할 것인가입니다.

예를 들어 외부에서 확보한 정답 데이터를 그대로 모델의 학습 데이터로 사용하는 경우라면 코드나 데이터 검증 과정에서 비교적 명확하게 규칙 위반을 확인할 수 있을 것이라고 생각합니다.

하지만 진짜 애매한 문제는 외부 정보를 통해 특정 Test 행들의 실제 결과를 알고 있는 참가자가 전체 정답을 직접 학습에 사용하는 것이 아니라,

1. 특정 행의 예측값만 임의로 수정하거나
2. 해당 정보를 바탕으로 특정 구간의 예측값을 후처리하거나
3. 일부 행에 대해서만 확률을 높이거나 낮추거나
4. 외부 정보를 참고하여 규칙이나 feature를 설계하는 방식

등으로 간접적으로 Test 정답 정보를 활용한다면, 최종 코드만 보고 이것을 어떻게 판별할 수 있는지가 궁금합니다.

특히 이러한 방식은 전체 정답지를 그대로 사용하는 것보다 탐지가 훨씬 어렵지만, 정상적으로 Train 데이터만 이용하여 모델링한 참가자와의 공정성을 심각하게 훼손할 수 있다고 생각합니다.

현재 DACON에서는 규칙 위반 제출이 확인될 경우 리더보드에서 해당 기록이 삭제되는 것으로 알고 있습니다. 다만 이번처럼 정상적인 모델링 성능과 상당히 큰 차이를 보이는 극단적인 점수가 발생한 경우에는 단순히 기록을 삭제하는 것만으로 끝내기보다, 최소한 참가자들이 납득할 수 있도록 다음 사항에 대한 안내가 필요하다고 생각합니다.

1. 해당 제출이 대회 규칙상 정상적인 제출인지 여부
2. 규칙 위반으로 판단될 경우 구체적으로 어떤 규정을 위반한 것인지
3. 외부에서 Test 정답 또는 이에 준하는 정보를 확보하여 일부 예측에만 반영하는 행위를 어떤 기준으로 판별하는지
4. 최종 예선 합격자 코드 검증 과정에서 이러한 간접적인 Test 정보 활용까지 어떤 방식으로 검증할 예정인지

이 문제는 특정 참가자 한 팀에 대한 의혹 제기만의 문제가 아니라고 생각합니다.

Test 정답에 접근할 가능성이 실제로 존재한다면, 정답 전체를 그대로 제출하는 참가자보다 그 정보를 일부만 교묘하게 활용하는 경우가 오히려 훨씬 중요한 공정성 문제가 될 수 있습니다.

정상적으로 대회 데이터를 기반으로 모델을 개발하고 있는 참가자 입장에서는 운영진이 이러한 상황을 어떤 기준으로 검증하고 있는지, 그리고 최종 평가 및 코드 검증 단계에서 어떻게 방지할 예정인지 명확한 안내를 부탁드립니다.