도배 하자 유형 분류 AI 경진대회

알고리즘 | 비전 | 분류 | MLOps | Weighted F1 Score

  • moneyIcon 상금 : 1,000 만원
  • 2,093명 마감

 

평가 항목에 대한 상세 설명 (23.04.11 07:00 수정)

2023.04.10 12:52 1,988 조회

안녕하세요 데이콘입니다.


본 경진대회는 정량 평가 (50%) + 정성 평가 (50%)으로 진행되는 대회로,

정량 평가는 Private Score, 정성 평가는 제출 PPT 서면 평가로 이루어집니다.


다음은 평가 항목에 대한 상세 설명입니다.

  1. 모델 성능 (50점)
  2. Private 리더보드 점수 (1위팀의 점수를 50점으로 고정한 뒤, 점수 비율로 산정
  3. 50 * ((점수)^N / (최고점수)^N), N은 비공개
  4. 모델 검증 (5점)
  5. 주어진 Train Dataset 과 외부데이터(사용 시)를 바탕으로 내부적으로 구축한 Validation Dataset
  6. 모델 일반화 성능을 가늠하기 위한 본인의 모델 검증 방법/전략
  7. 데이터 증강 (20점)
  8. 부족한 데이터 수과 Class Imbalance를 극복하기 위해 데이터 증강을 도모하는 방법
  9. GAN과 같은 이미지 생성 모델을 통한 데이터 증강 기법도 허용
  10. 알고리즘 (10점) - 23.04.11 추가
  11. 전처리, 모델 학습, 모델 추론 프로세스
  12. 적용 가능성 (10점) - 23.04.11 수정
  13. 개발한 모델을 실제 서비스할 수 있는 모델 서빙 프로세스를 제안
  • 실제 서빙이 가능한 모델/솔루션인지 정성 평가
  1. 개발한 모델은 본인 팀의 최종 제출물(csv)을 생성하는 모델 (앙상블을 활용한 경우, 전체 앙상블 모델을 하나의 모델로 정의)
  2. 자료 완성도 (5점)
  3. 솔루션 PPT 자료 구성의 짜임새
  4. 위 평가 항목들에 대한 내용이 모두 반영되어있어야함



반드시 위의 평가 항목들을 참고하여 진행 부탁드립니다.

감사합니다.

로그인이 필요합니다
0 / 1000
Redix6
2023.04.11 05:18

"현실적으로" 라는 부분이 굉장히 추상적이라고 생각됩니다.
좀 더 구체적으로 명시해 주시는게 평가하는데 있어 공정하다고 봅니다. 
추론속도도 그렇고, 리소스도 그렇고
이미지를 1장씩 처리해야 하는 환경인지, batch가 가능한 환경인지
batch가 가능하다면 vram은 어느정도까지 생각할 수 있는지, 
메모리 이용은 어느정도까지 가능한지 등 
배점이 20점으로 적지 않은데, 구체적인 환경이나 기준도 제시하지 않는 건 이상합니다.
예를들어, A는 1장 처리에 2초가 걸리고,  B는 1장 처리에 0.1초가 걸리는데, 
두 모델의 f1 차이가 0.1정도 났고, A가 B에 순위가 밀렸다고 생각해봅시다. 
A가 2초정도면 현실적인데 왜 배점이 낮은지 이의를 제기했을 때, 
내부 판정에 대해 뒤늦게 말해준다 하더라도, 납득이 가지 않을 수 있습니다.
반대의 경우도 마찬가지입니다. 

DACON.GM
2023.04.11 06:52

안녕하세요 Redix6님,
해당 평가항목은 말씀해주신 것과 같이 정량적인 평가 방법을 적용하려는 의도는 아닙니다.
현재 대회 방식에서는 의견주신 내용처럼 진행하기에는 부정 행위의 가능성, 검증 과정 등 여러 고려사항을 봤을 때 컨트롤하기 어려울 것으로 판단됩니다.
의견주신 내용과 같이 정량적인 평가가 공정하게 이루어지려면 별도의 클라우드 GPU 서버 내 제한된 조건에서의 추론하는 대회여야하나,
본 대회는 구체적인 리소스 조건을 부여하여 제한하기보다는 참가자분들의 더 다양한 솔루션과 결과를 수용하고 이를 정성적으로 평가하는 방식으로 계획되었습니다.
주최측에서는 경진대회 수상 모델을 통해 실제 서비스를 고려하고 있으며, 아직 서비스에 사용될 구체적인 실사용 GPU스펙이나, 메모리등은 결정되지 않은 상태입니다. 그러나 오직 성능의 향상에만 포커스가 되어있고, 실제 서비스에는 부적절한 솔루션들에 대해서는 패널티를 부여할 필요가 있기에 제시된 평가 항목입니다.

하지만 의견주신 내용과 같이, 정량적인 평가 항목으로 인지될 수 있는 점을 고려하여
참가팀이 '개발한 모델을 실제 서비스할 수 있는 모델 서빙 프로세스를 직접 제안' 한 내용에 대해 정성적인 평가를 실시하는 항목으로 변경하였습니다.
감사합니다.