도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

리더보드는 생각보다 중요하지 않을 수 있습니다

2024.02.08 09:19 1,576 Views

대회를 진행하다보면 리더보드를 염두하게 됩니다

특히 평가방식 중 Private 상위 10팀이라는 특수 규칙이 있으니 착각이 생길 수 있는데요

2차 평가의 배점의 비율도 하나의 관건이지만, 학습 데이터를 통해 각 문항당 여러 답변들 간의 스코어를 계산해서 학습 데이터 기준 가능한 평균을 구해보면

최대 0.9점 평균적으로 0.8점, 최소는 0.67 점이 나옵니다.

아무리 학습 데이터에서 답변으로 제시된 결과여도, 실제 평가에 사용되는 답변이 어떤 형식이냐에 따라 저정도까지 낮게 나올 수도 있다는 것입니다


이 대회는 기업에서 주최하고, 상금까지 내건만큼 출제 자체에도 기업에 비즈니스에 깔린 로직들이 있을겁니다

그 이해를 기반으로, 합리적인 성능이 나오시는 경우에는 리더보드를 과도하게 의식하지 않고,

2차 평가를 위해 충분한 설명을 준비하시는게 좋을 것 같습니다

로그인이 필요합니다
0 / 1000
김응주
2024.02.24 15:26

좋은 글 감사합니다. 대회의 핵심을 잘 짚어주셨다고 생각합니다.

채승
2024.02.24 21:13

대체로 답변_1이 가장 짧거나 간단명료한 경우가 많더라구요. 짧은 답변과 긴 답변의 코사인 유사도가 비교적으로 작게 나온게 아닌가 생각해봅니다!

yejinLee
2024.03.09 21:49

좋은 설명 감사합니다 !