한국어 문서 추출요약 AI 경진대회

안녕하세요. 

저(uoneway. 이하 A팀)와 최종순위 3위팀(이하 B팀) 순위와 관련하여 메일로 재검토를 요청드렸고 답변을 주셨지만,

그 설명에 대해 도저히 납득할 수 없어 공식적으로 다시 검토를 요청드립니다.

현재 dacon 측에서 설명한 순위 산정 방식은 다음과 같습니다.

• 점수1,2에 대한 점수는 A팀은 3+5 = 8점. B팀은 5 + 4 = 9점
• 점수3은 A팀과  B팀이 동점 -> 제출시간 우선순위 기준을 적용하여 제출이 빠른 B팀을 4위, A팀은 5위로 조정
• 그 결과 A팀(8+5)과 B팀(9+4)은 13점으로 동점이 됨 -> 여기에 다시 제출시간 기준을 적용하여 제출이 빠른 B팀이 최종 3위로 결정됨

하지만 이는 기존에 공지한 대회규칙을 잘못 적용한 것입니다.

기 공지됐던 대회 규칙은 다음과 같습니다.

------------------------------------------------------------------

순위 기준

 - 3가지 지표에대한 개별 순위의 합산 오름차순( ex - ROUGE-1:1위, ROUGE-2:3위, ROUGE-L:2위 => 1+3+2=6점)

 - 합산 점수 동률시 제출 시간 오름차순

------------------------------------------------------------------

규칙에는 너무나 명확하게도

• 우선 개별순위의 합산으로 순위를 산정하되
• '합산 점수가 동률'인 경우, 제출시간 기준을 고려하여 순위를 정한다고  기재되어 있습니다.

그런데도 주최측은 합산 전 개별점수의 순위를 산정할 때 한 번, 합산 후 순위 산정에도 다시 한 번 제출시간을 중복 고려하는 이해할 수 없는 기준을 적용합니다.

대회 규칙에 따라 제대로 순위를 산정한다면

• ROUGE-L(점수3)에 대한 순위는 제출시간을 적용하지 않은 순위 그대로(두 팀 모두 4) 적용하는 것이 맞으며
• 이에 따라 합산점수는 A팀은 8 + 4 = 12점, 3위팀은 9+ 4 = 13점이 되고
• 당연히 '합산 점수가 동률'이 아님에 따라 제출시간 기준은 적용되지 않아야 합니다.

추가로 데이콘 대회 규정 상 동점시 동순위가 아닌 제출 시간으로 순위 차등하여 결정하게 명시가 되어 있다고 하셨으나

본 대회는

제출물 1개의 성능을 3개의 지표로 측정하는 대회이며,

이에 따라 `3가지 지표에 대한 개별 순위의 합산 오름차순`의 점수가 동점일 경우에 한 해 해당 규정을 적용하는게 맞다고 보여집니다.

------------------------------------------------------------------

9. 우승자 결정.

각 제출물은 대회 웹 사이트에 명시된 평가 기준에 따라 채점되고 순위가 매겨집니다.

대회 기간 동안 현재 순위는 대회 웹 사이트에 표시됩니다.

동점일 경우 대회에 처음 참가한 제출물이 승자가 됩니다.

------------------------------------------------------------------

대회 규정을 떠나서도 '제출 시간'은

모든 제시된 지표를 통해 성능을 기준을오 제출물을 평가했는데도 동점이 생기는 경우에

순위를 가리기 위한 최후의 방법으로 사용되는 것이

너무나 상식적인 기준이라고 생각합니다.

주최측에서 본 대회 기준을 세울 때 또한 다르게 생각하시지 않으셨을 것이라 확신합니다만...

현재 알려주신 기준대로라면

더 우수한 제출물이 탈락하는 이상한 결과를 낳게 됩니다.

사실 '합산'이라는 용어만 포함되어 있지 않았어도

억울하긴 하겠지만 점수를 조금 더 올리지 못한 내 탓이지라며 넘어 갔을거 같은데요.

대회 규정에 너무나 명확하게 '합산 점수가 동률'인 경우'합산 점수가 동률'인 경우 로 제출시간 규정의 적용 조건이 드러나 있어서

이 건은 이견의 여지가 없다고 생각됩니다.

다시 한번 검토를 요청드립니다.