SW중심대학 공동 AI 경진대회 <본선>

안녕하세요 오리도리님,
13:00-17:30 중 팀의 발표 및 질의응답 시간(10분)에만 참여하시면 됩니다.
정확한 팀별 발표 일정은 발표 자료 제출이 마무리된 후 발표자들에게 주최측에서 안내드릴 예정입니다.
따라서 가급적 발표자 한분을 선정하여 발표자료와 같이 제출 부탁드립니다.
감사합니다.

네 답변 감사합니다.

안녕하세요 sksmslhy님,
팀 별 발표 시간에는 발표자만 입장 가능합니다.
감사합니다.

안녕하세요, 공동 AI 경진대회 주관기관인 SW중심대학협의회 입니다.

공동 AI 경진대회 <본선>은,
1) 리더보드 결과 순위 + 2) 발표평가 + 3) 코드평가 를 통해 최종 수상자가 결정됨을 대회 시작부터 공지 드린 바 있습니다.
어떤 점을 우선시할지에 대한 평가 비중은, 대회 추진위원회의 회의를 통해 결정된 사항입니다.

본 대회는 전국 44개교의 SW중심대학 학생들만을 대상으로 하여 온라인으로 진행되는 경진대회입니다.
이미지 데이터셋으로 컴퓨팅 연산량이 많은 경진대회의 경우, 아무래도 컴퓨팅 파워가 높은 대학 소속의 팀이 우승활 확률이 높기 때문에
리더보드 순위(성능)만으로 평가를 하지 않고, '성능에 대한 검증/독창성' 등의 내용을 발표평가를 통해 추가로 평가함이
각 출전팀별(대학별) 훈수의 문제를 한 차례 검증할 수 있는 방법이라고 논의되어 위와 같이 평가 절차를 진행하였습니다.

본선 리더보드 순위 발표 후, 모든 참가자에게 동일한 시점에 관련 내용이 공지가 되었고(평가항목별 배점, 일정 등)
공지 이후부터 모든 대상팀에게 동일한 약 10일간의 발표평가 준비 기간을 드렸기에,
문의주신 팀에게만 불공평한 상황으로 진행된 것은 아님을 말씀드립니다.

안내드린 평가 항목별 내용과 관련 질의응답을 잘 준비하시어 진행하셨다면,
평가에도 잘 반영됐으리라 생각됩니다!

리더보드 순위가 발표되고 나서 모든팀에게 똑같이 발표평가 준비기간을 10일동안 주신것은 맞지만
독창성등의 내용이 필요하다는것을 모든 실험이 끝나고 나서 공지한것은 잘못된거같습니다..

독창성을 고려되야 한다는 사실을 알았더라면 성능이 같거나 소폭 하락되더라도 독창성 있는 여러가지 방법을 사용했을 겁니다.
대회 평가 기준이 뒤늦게 알려졌기 때문에, 어떤팀이 성능이 낮은데 독창성 점수를 높게받아 순위가 변동된다면 그것은 운적인 요소가 작용한 것이라고 할 수 있지않을까요? 

본선은 발표평가, 코드 평가도 들어간다고 공지를 했었죠 하지만, 해당 부분의 비율을 얼마나 줄 것인지 사전 공지가 없었습니다. 일반적인 경우에는 미리 사전에 평가 지표와 배점을 공개하고 대회를 진행합니다. 이점은 명백하게 SW 중심대학협의회의 잘못이고 저랑 어제 통화에서도 이 부분은 인정하셨습니다.

컴퓨팅 파워 같은 경우에도 검증하지 못합니다. 아이디어가 좋고 독창적이라고 성능이 잘 나오는 것은 아니며 이 대회의 테스크를 얼마나 잘 이해하고 있고 열심히 했는지에 따라서 제출 횟수, 실험 횟수들도 달라지기 때문에 독창성과 컴퓨팅 파워를 어떻게 검증할 수 있는지 궁금합니다.
제가 알아본 바로는 모든 발표 팀한테 저희한테 질문한 것과 같이 컴퓨팅 파워가 얼마나 있는지 물어본 것은 아니라고 알고 있습니다.

현재까지는 최종 결과가 발표되지 않은 상황이오니,

결과 발표 이후, 참가자께서 염려하시는 평가항목 관련 확인이 필요하실 경우 문의주시면
최종 집계된 결과를 토대로 답변드리겠습니다. (SW중심대학협의회 / 02-2078-2902)

감사합니다.

@일론머스크
: 본선은 발표평가, 코드 평가도 들어간다고 공지를 했었죠 하지만, 해당 부분의 비율을 얼마나 줄 것인지 사전 공지가 없었습니다. 일반적인 경우에는 미리 사전에 평가 지표와 배점을 공개하고 대회를 진행합니다. 이점은 명백하게 SW 중심대학협의회의 잘못이고 저랑 어제 통화에서도 이 부분은 인정하셨습니다.

→ 위 댓글에 대하여 답변을 남깁니다.
학생과 통화 당시 "평가 항목 및 배점에 대한 공개는, 본선대회 결과물 제출 후 모든 참가자에게 동일한 시점 안내되어 발표평가 준비하실 수 있게 하였다."고 
안내드린 사항이지, 사전에 평가 지표와 배점을 공개하지 않은 것이 저희의 잘못이라고 인정한 사실 없음을 말씀드립니다.

현재 결과 발표가 되지 않은 상황이오니, 결과 발표 후 궁금하신 사항 문의바립니다.

안녕하세요 일론머스크님,
발표평가(정성평가) 방식의 경우에는 주최측에서 결정한 사인이고 주최측에서 진행하기 때문에 내부 사항에 대해 답변드리기 어렵습니다.
다만, 해당 내용을 바탕으로 참가팀들의 솔루션들을 서로 공유할 수 있는 방안에 대해서는 주최측에 의견을 전달하여 논의해보도록 하겠습니다.
감사합니다.

안녕하세요, 공동 AI 경진대회 주관기관인 SW중심대학협의회 입니다.

문의주신 참가자의 의견도 일리가 있으나,
공동 AI 경진대회 <본선> 발표평가는, 저희 운영진측에서 임의로 배정한 순서에 따라 진행되었기에
모든 팀에게 공개되는 평가로 진행할 경우, 임의로 배정된 순서상의 공정성 시비가 있을 여지가 충분하여 
운영진/심사위원회 및 평가대상팀 대표(발표자)만 참석하에 공정하게 평가가 진행되었습니다. 
(공정한 심사를 위해, 심사위원회는 SW중심대학 참여 교수 및 관계자를 제외한  외부 산·학·연 AI 관련 전문가로 구성되었습니다.)

참고를 부탁드립니다!
---------------------------------------------------------------------------------------
 상기 "순서상 공정성"에 대해 부연설명 드립니다.

본 대회는 동일한 주제로 진행되는 경진대회입니다.
공개형 발표평가로 진행하는 경우
먼저 진행되는 팀의 발표 및 질의 응답 내용이 공개가 됩니다. 

하여 발표순서로 인한 유불리가 없도록
발표평가는 비공개로 진행되었습니다

삭제된 댓글입니다

안녕하세요 일론머스크님,
안내 방식은 주최측(소프트웨어중심대학협의회)의 결정이며, 해당 의견을 주최측에 전달드리도록 하겠습니다.
감사합니다.

주최측 답변이 오는대로 댓글 부탁드립니다.

아래는 해당 의견에 대한 주최측의 답변입니다.
발표평가 순위는 현재 공개하지 않으며, 최종 결과 발표일(22.11.07)에 최종 순위를 발표할 예정입니다.
감사합니다.

최종 순위 발표시 평가 점수에 대한 이의제기에 어려움이 있을 것으로 예상 됩니다. 공정한 평가를 위해 투명한 정보공개 부탁드립니다. 1. 상위 6팀과 예비 4팀 공개, 2. 발표평가 점수 순위 공개

평가 결과와 관련하여 주최측에 문의부탁드립니다. (이전에 발표평가 관련 전체적으로 개별 안내드렸던 메일 혹은 번호)
추가로 해당 내용에 대해 주최측에 전달드렸으며, 정보공개 요청 관련하여 주최측에서 문의자분께 안내드릴 예정입니다.
감사합니다.

문의자분께만 안내드리지 말고 안내사항이 있다면 전체적으로 안내하는 것도 좋을 것 같습니다!

관련하여 주최측으로부터 전달받은 내용 중,
안내드린 내용 중에서 변동사항이 있다면 전체적으로 안내드리겠습니다.
감사합니다.

안녕하세요, 공동 AI 경진대회 주관기관인 SW중심대학협의회 입니다.

최종 순위는 본선 대회 모든 평가 절차 마무리 후에 공개 예정입니다.
모든 평가 결과 및 데이터가 공정하게 집계 및 정리되고 있으니, 
추후 이의제기 시 최종 집계된 결과를 토대로 답변드릴 수 있도록 하겠습니다. 

감사합니다.