분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
솔직히 조금 허무하네요
이렇게 심사위원 투표수로 최종 결과가 결정되어버리는 수치라면, 참여형 투표를 애초에 왜 진행한 건지 잘 이해가 되지 않네요.
많은 사람들이 시간을 들여 참여했는데 그 노력이 제대로 반영되지 않는다면, 참여자들만 괜히 허탈해지는 상황이 되는 거죠.
최소한 참여자들의 의견이 의미 있게 반영될 수 있도록 심사위원 평가와 참여자 투표 비율을 좀 더 균형 있게 조정하는 방법도 있었던 거 아닌가 싶네요.
5:5 정도 비율이었다면 참여한 사람들의 의견도 충분히 존중되는 느낌을 받았을 것 같은데, 굳이 이렇게 진행했어야 하는건가 싶은 아쉬움이 남네요.
이번 방식이 참여자들에게 주는 부담이나 실망감도 조금은 고려해 주셨으면 하네요.
참 아쉽네요...
학교, 학원 등 교육기관에서 단체로 참가하게 되는 경우, 일반 참가자 표에 평가 점수 비중을 높이면, 짜고 치는 고스톱 판이 될까봐 방지하는 차원에서 하지 않았을까 싶어요
물론 심사위원의 전문성은 존중합니다. 하지만 참가자 투표가 사실상 결과에 1% 영향도 미치지 못하는 구조라면, 왜 참가자들에게 상호 평가를 진행하게 하였는지 의문입니다. 참가자들의 시간을 소모해 대회의 트래픽만 올리고, 정작 그 의견은 철저히 배제한 것인가요? 데이터를 다루는 AI 해커톤에서, 수백 명의 참가자 투표가 7명의 심사위원 점수에 의해 통계적 가치를 완전히 상실하는 기형적인 구조가 과연 타당한가요?
주최 측은 <가중치 비공개>라는 원론적인 입장만을 고수하기보다는, 최소한 참가자 투표와 심사위원 평가의 반영 비율이 몇 대 몇인지는 투명하게 공개해야 한다고 생각합니다. 가중치가 비공개라 하더라도, 상식적인 범위(3:7, 5:5)를 벗어나 한쪽이 다른 쪽을 완전히 무력화시키는 구조였다면, 이를 사전에 고지했어야 마땅합니다.
공정하고 투명한 운영이 담보되지 않는다면, 'AI 인재 육성'이라는 대회의 취지마저 퇴색될까 우려스럽습니다.
역산해보면 심사위원 표와 참가자 표 가중치는 103배 정도 차이납니다..
일반인 투표 1표당 점수: 1/900 ≈ 0.0011111111
심사위원 1표당 점수: 약 0.1131746
심사위원 표수
1위 6표
2위 5표
3~9위 4표
10~30위 3표
31~63위 2표
64~105위 1표
106위~181위 0표
정도로 계산되네요.
본선 올라가는 기준선이 31위와 30위 일반 참가자 득표수 차이가 103표 이상 나지 않으면 달라지는게 없다는 뜻이 되겠네요!
하위 득표수가 14표 정도가 되니, 약 180팀 중 117팀이 투표해줘야 이변이 생깁니다.
이세님의 계산처럼 이런 불균형한 산출식을 적용하면서 투표를 하게 한 것은, 참가자들을 평가의 주체가 아닌 단순 트래픽 유입 수단으로 활용했다는 의구심을 갖게 하네요
운영 측도 단순 트래픽이 올라가는게 도움이 되진 않았을 것 같습니다!
30위와 31위의 참가자 투표로 인한 변동성을 위해선 최대 35배 가중치에서 유의미한 변동을 일으킬 수 있는데, 약 3배 가량의 가중치가 붙었네요!
어떻게 보면 182팀의 30표 투표권이 많이 행사되지 않아서 참가자 투표수의 임팩트가 더 약하게 작용한 것으로도 해석됩니다.
예상 투표 참여율이 3배는 더 높을거라 기대하셨을 수도 있겠어요.
좋은 아이디어도 많이 보였는데, 아쉬움이 많이 남으실 팀들이 보입니다!
고생 많으셨습니다!
의견 감사합니다.
말씀하신 대로 투표 참여율이 낮았다면, 오히려 평균(10~20표)보다 몇 배 가까이 많은 득표를 한 팀의 변별력이 더 크게 작용했어야 옳지 않을까요? 남들이 투표를 안 할 때 받은 1표의 가치가 더 크기 때문입니다. 투표율이 3배가 되어 전원이 투표했더라도, 현재 극단적인 교환비(심사위원 1표 ≈ 참가자 100표 이상)가 유지되는 한 참가자들의 의견은 여전히 무의미했을 것입니다. 참여율의 문제로 보기엔 산출식 자체가 안고 있는 모순이 너무 큽니다.
#공감
그렇기는 하지만 심사위원분들께서 가중치를 어느 부분에 두셨는지 확인할 수 있는 시간이기도 했습니다. 아쉽지만 다음에 역량을 조금 더 높여서 대회에 진출하는 기회로 삼으면 좋을 것 같습니다.
다른 데이콘 공모전들의 경우를 보더라도, 전문 심사위원 가중치와 일반 참가자의 가중치는 항상 다르게 운영되어 왔으며, 이러한 평가 방식은 대부분 대회 안내 및 동의사항에 명시되어 있습니다. 이번 대회 또한 참가 시점에 이에 대해 동의하고 참여한 것으로 이해하고 있습니다.
글에서 많은 분들이 “시간과 노력이 제대로 반영되지 않았다”고 말씀하시지만, 그대로 받아들이면 “선발된 팀은 노력하지 않았고, 심사위원이 편향적으로 평가했다”는 해석도 가능해집니다. 그 부분만큼은 저도 조심스럽게 받아들여야 한다고 생각합니다.
다만, 참여자 입장에서 노력이 결과로 연결되는 경험을 기대했다는 점, 그리고 참가자 투표 비중이 너무 낮아 아쉬움을 느낄 수 있다는 점은 충분히 공감되는 부분입니다. 실제로 다른 대회에서는 심사위원 평가와 참가자 투표 비율을 더 균형 있게 조정한 사례도 존재합니다. 이번 방식이 일부 참가자분들에게 부담감이나 실망감을 준 상황이라면, 향후에는 이러한 운영 방식에 대한 개선이 고려되면 좋겠습니다.
선발된 팀들의 노력과 실력을 의심하는 것이 절대 아닙니다.
다만, 참가자들이 동의했던 규정의 해석에 대해 제 부족한 구사력으로 비유를 들어 말씀드리고 싶습니다.
한 초등학교에서 전교생에게 '예비 반장 선거 투표권'을 주면서, "선생님 투표와 가중치는 다르다"고 공지했습니다. 학생들은 의무적으로 1주일동안 180명의 후보를 인터뷰하고 투표했습니다. 그런데 막상 결과를 보니, 전교생에게 압도적인 지지를 받은 학생들이 선생님 1명의 점수를 못 이겨서 후보 명단에조차 들지 못하고 탈락했습니다. 학교 측에선 심사 기준은 알려줄순 없다고만 명시합니다. 학생들이 자체적으로 계산해보니 '선생님 1표 = 학생 100표'로 설정되어있습니다.
이때 학생들이 "이럴 거면 우리한테 왜 의무 투표를 시켰냐", "심사 기준을 공개해라"라고 항의하는 것이, 과연 사전에 동의해놓고 떼쓰는 행동일까요?
물론 선생님들에 의해 후보로 올라간 학생들도 훌륭할 수 있습니다. 선발된 분들의 자격을 논하는 것이 아닙니다.
다만, 참가자들이 납득할 수 있을 정도의 비율,기준,과정에 대한 투명한 설명과 절차적 정당성이 함께 가야 하지 않겠냐는 것입니다.
작성하신 비유와 주장에 공감되는 부분이 있지만, 몇 가지 논리적 한계가 있습니다.
먼저, 이 선발 과정은 대표성을 뽑는 선거가 아니라 전문성과 완성도를 평가하는 경연입니다. 초등학교 반장 선거처럼 ‘모든 학생의 1표가 동일한 가치’여야 하는 구조 자체가 아닙니다. 애초에 대중성·인기투표가 주목적이 아니라면, 일반 투표가 전문가 심사보다 훨씬 낮게 반영되는 것은 여러 경연에서 흔히 있는 방식입니다.
둘째, 참가자들은 사전에 “가중치가 다르다”는 사실을 명확히 알고 시작했습니다. 가중치가 다르다는 것은 곧 전문가 평가의 영향력이 훨씬 클 수 있다는 것이고, 그 범위가 어느 정도인지까지 모두 공지하는 것이 필수라는 규정은 없습니다.
많은 대회에서 심사 기준의 구체적 가중치를 공개하지 않는 이유도 편향된 준비, 심사 맞추기 전략, 로비 가능성을 방지하기 위함입니다.
그리고 여기 참가하신분들이 투표한 이유는 심사위원분들은 많지 않기 때문에 동점이 나올 확률이 높고 거기서 변별력을 가리기 위함 아닐까 합니다
맞습니다. 이 대회는 대표성을 뽑는 선거가 아니라, 전문성과 완성도를 평가하는 경연입니다. 제 비유의 요점도 “모든 1표의 가치는 같아야 한다”가 아니었습니다. 제가 비유를 든 이유는 참가자들의 투표가 실질적인 영향력이 거의 0에 가까웠던 구조를 설명하고 싶어서였습니다.
즉, 경연이냐 선거냐를 떠나서, 참가자들간의 상호평가를 일주일동안 할당해놓고, 그 참여가 실질적으로 어떤 역할을 했는가를 질문하고 싶었습니다.
또, “규정에 ‘다르다’고 써 있었으니, 어떤 비율이든 문제 삼을 수 없다”는 해석이 조금은 참가자의 합리적 기대 범위를 벗어난다고 느낍니다.
심사 기준을 비공개로 하는 이유(심사 맞추기, 로비 방지)는 이해하지만, 세부 채점표를 숨기는 것과 "전문가:참가자 가중치 비율 자체를 사실상 1:100 수준으로 두면서, 그 점을 아무도 알 수 없게 하는 것"은 서로 다른 차원의 얘기 아닐까요.
참가자 투표를 동점자를 변별하기 위한 보조지표로 쓰겠다는 명확한 설계였다면, 그것 자체는 존중할 수 있는 방식입니다. 애초에 그럴거였다면 규정에 “참가자 투표는 동점자 변별에만 사용됩니다”라고 안내되었다면 지금처럼 행사된 표의 의미에 대해 허탈감을 느끼는 팀들이 생겨나지 않았을 것 같습니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
확실히 그렇긴 하네요.. 그래도 수고하셨습니다!! 조금 개선이 있으면 좋을거 같긴 해요!