현 상황에 대한 느낀점

HD현대 AI Challenge

현 상황에 대한 느낀점

쥬혁이

2023.10.17 18:01 2,899 Views

안녕하세요.

대회를 진행하면서 이런 상황이 온 것에 대해 아주 속상한 기분이 듭니다.

시간을 많이 투자하고 진행한만큼 아쉬움이 크게 오는 부분이 있습니다…

특히 빠르게 3점대를 찍으신 분들이 다수 있으시길래 10등 안에 들 수 있나?하며 의지에 대한 영향도 받았습니다.

물론 악용하지 않은 분들도 계시겠지만 안걸리면 그만이라고 생각하신 분들도 분명히 계실꺼라 생각합니다.

이런 데이터 오류를 이용한 로직을 발견하고 말씀을 해주시는 분과 말씀을 해주시지 않는 분에 대한 차이가 확실히 있는 거 같습니다.

레츠고도님과 같이 데이터에 문제가 있다면 이런 부분들을 빠르게 공유하고 주최측이든 대회측이든 빠르게 공유하여 대회가 공정하게 진행이 되게 하는 것이 저는 옳다고 생각합니다.

이런 부분들이 앞으로 다른 대회에서 또다시 일어날 수 있는 경우가 있기 때문에 이런 부분들은 앞으로 다들 먼저 공유해주신다면 더 공정하고 현실 가능성있는 모델을 만드는데 일조할 것이라고 생각이 들어 글을 적어봅니다.

또한 데이콘 측에서도 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당된다고 하셨는데,

이 부분에 대해서 답변을 부탁드립니다.

Comments 10개

로그인이 필요합니다

comment

0 / 1000

DACON.GM

2023.10.17 19:23

안녕하세요 쥬혁이님,
리더보드 초기화 이전 기준으로, 유가 정보로부터 CI_HOUR를 예측하는 행위가 비정상적인 방법으로 얻은 제출물이라고 결론 짓기는 어렵습니다.
현재 시점으로써는 재배포된 데이터셋이 '미래'의 유가 정보와 관련된 4개의 Column을 제거하고 이전 버전의 데이터셋 또는 '미래'의 유가 정보를 활용한 방법을 비정상적인 방법으로 간주한다는 것을 규정에 추가하였습니다.
그러나 이전에는 데이터 내에 해당 정보들이 주어졌고, 데이터 분석을 통해 CI_HOUR를 도출해낸 과정이였기 때문에 '규칙 위반'에 해당하지는 않으며 이는 애초에 제공된 데이터에 Short-Cut의 정보가 포함된 상태로 제공된 것이 원인이라고 판단하여 주최측의 결정에 따라 리더보드 초기화 및 데이터 재배포 이후 진행하는 것으로 결정되었습니다.
감사합니다.

쥬혁이

2023.10.17 20:04

넵 답변 감사합니다

INDIGoooo

2023.10.17 18:51

분명 억울한 상황이지만 말씀하시는 부분은 좀 섣부르다는 생각이 드네요.
결론적으로 ‘쥬혁이님 말씀은 알고도 모른척 하고 점수 올린 사람들에게 조치가 있어야 한다’ 같습니다.
알고도 진행한 참가자가 있다고 어떻게 판단하시는 건가요? 쥬혁이님처럼 유가의 타겟값 정보인지 모르고 열심히 진행하신 참가자분들을 매도하는거 아닌가요?

쥬혁이

2023.10.17 19:57

3점대는 유가에서 타겟정보 로직만들어서 한거라고 생각합니다. 아니라면 제 실력이 부족한거고 사과드리겠습니다. 그리고 그 로직을 만들었다면 Real World에서 사용할수있다고 생각할 수 있을까요?

뉴숩

2023.10.17 20:22

리더보드 초기화 이전 3점대를 기록한 팀입니다.

사실 모델 파라미터 튜닝에 시간이 꽤 걸리는지라 이번 초기화에 있어 상당히 안타깝게 생각하고 있습니다.
그래도 이번 사태 덕분에 데이터를 접근하는 또 다른 방법을 알게 되어 정말 소중하고 감사하게 여기고 있습니다.

주혁이님께서 예상하신 바와 다르게, 저희 팀 역시 레츠고도님의 게시물을 통해 해당 문제를 인지하였습니다.
아마 명시적으로 지정하지 않았으나 학습한 뉴럴넷이 해당 특징의 조합을 이용해 Regression한 것으로 추측됩니다.
그만큼 제가 사용하고 있는 모델이 Feature Extraction하는 능력이 뛰어나지 않나 싶습니다.

제 답변이 조금이라도 도움이 되었으면 좋겠습니다. 끝까지 힘내봅시다.

쥬혁이

2023.10.18 17:17

네 뉴숩님은 제 글을 보고 상당히 불쾌하셨을 것 같습니다. 그 부분에 대해서 진심으로 사과드리겠습니다.
가능하시다면 저도 많이 배우고 싶어 대회 끝나고 어떻게 3점대를 달성하셨는지 가능하시다면 코드를 공유해주시면 감사하겠습니다.

뉴숩님도 이번 대회 끝까지 화이팅하시길 바랍니다. 감사합니다.

뉴숩

2023.10.18 19:39

엇 아닙니다 전혀 불쾌하지 않았습니다. 사과 안해주셔도 됩니다.
저도 역시도 데이터 분석에 있어 부족한 면이 많았던거죠.
서로서로 지식을 공유하면서 좋은 방향으로 발전했으면 합니다.

etisnE

2023.10.17 21:58

삭제된 댓글입니다

쥬혁이

2023.10.18 17:21

전일 댓글이 삭제 되기 전에 써주신 내용들을 보았었는데 밖에 있을 때라 답변을 바로 주지 못했습니다.
물론 데이콘 측에서도 로직을 이용한 것에 대해서 공식적으로 부정행위는 아니다라고 하셨으니 그 부분에 대해서 기분이 안좋으셨다면 사과드리겠습니다.
다만 이러한 상황이 발생하기 전에 로직을 발견하셨더라면 현실에 적용할 수 있는 모델링은 아니다 라고 충분히 생각은 하시지 않았을까, 데이콘이나 주최사측에 말이라도 비공식적으로 해주셨으면 어떠셨을까 라는 아쉬움이 크게 남아 이 글을 적었었습니다.
어찌 되었든 어제 길게 써 주신 댓글을 다 기억하지 못해 여기까지 답변 드리도록 하겠습니다.

쿵야님도 이번 대회 끝까지 화이팅하시길 바라겠습니다!
감사합니다.

etisnE

2023.10.20 10:45

위로를 해드리고 싶었는데 다시 읽어도 위로가 아닌 것 같아서 지웠습니다 대회 끝까지 화이팅 하셨으면 좋겠습니다!!

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

List

이런 텍스트는 어떻게 처리하는게 좋을까요,,

Competition - 제1회 국민대학교 AI빅데이터 분석 경진대회

현재 글