분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
평가 항목에 대한 상세 설명 (23.04.11 07:00 수정)
안녕하세요 데이콘입니다.
본 경진대회는 정량 평가 (50%) + 정성 평가 (50%)으로 진행되는 대회로,
정량 평가는 Private Score, 정성 평가는 제출 PPT 서면 평가로 이루어집니다.
다음은 평가 항목에 대한 상세 설명입니다.
반드시 위의 평가 항목들을 참고하여 진행 부탁드립니다.
감사합니다.
안녕하세요 Redix6님,
해당 평가항목은 말씀해주신 것과 같이 정량적인 평가 방법을 적용하려는 의도는 아닙니다.
현재 대회 방식에서는 의견주신 내용처럼 진행하기에는 부정 행위의 가능성, 검증 과정 등 여러 고려사항을 봤을 때 컨트롤하기 어려울 것으로 판단됩니다.
의견주신 내용과 같이 정량적인 평가가 공정하게 이루어지려면 별도의 클라우드 GPU 서버 내 제한된 조건에서의 추론하는 대회여야하나,
본 대회는 구체적인 리소스 조건을 부여하여 제한하기보다는 참가자분들의 더 다양한 솔루션과 결과를 수용하고 이를 정성적으로 평가하는 방식으로 계획되었습니다.
주최측에서는 경진대회 수상 모델을 통해 실제 서비스를 고려하고 있으며, 아직 서비스에 사용될 구체적인 실사용 GPU스펙이나, 메모리등은 결정되지 않은 상태입니다. 그러나 오직 성능의 향상에만 포커스가 되어있고, 실제 서비스에는 부적절한 솔루션들에 대해서는 패널티를 부여할 필요가 있기에 제시된 평가 항목입니다.
하지만 의견주신 내용과 같이, 정량적인 평가 항목으로 인지될 수 있는 점을 고려하여
참가팀이 '개발한 모델을 실제 서비스할 수 있는 모델 서빙 프로세스를 직접 제안' 한 내용에 대해 정성적인 평가를 실시하는 항목으로 변경하였습니다.
감사합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
"현실적으로" 라는 부분이 굉장히 추상적이라고 생각됩니다.
좀 더 구체적으로 명시해 주시는게 평가하는데 있어 공정하다고 봅니다.
추론속도도 그렇고, 리소스도 그렇고
이미지를 1장씩 처리해야 하는 환경인지, batch가 가능한 환경인지
batch가 가능하다면 vram은 어느정도까지 생각할 수 있는지,
메모리 이용은 어느정도까지 가능한지 등
배점이 20점으로 적지 않은데, 구체적인 환경이나 기준도 제시하지 않는 건 이상합니다.
예를들어, A는 1장 처리에 2초가 걸리고, B는 1장 처리에 0.1초가 걸리는데,
두 모델의 f1 차이가 0.1정도 났고, A가 B에 순위가 밀렸다고 생각해봅시다.
A가 2초정도면 현실적인데 왜 배점이 낮은지 이의를 제기했을 때,
내부 판정에 대해 뒤늦게 말해준다 하더라도, 납득이 가지 않을 수 있습니다.
반대의 경우도 마찬가지입니다.