카메라 이미지 품질 향상 AI 경진대회

안녕하세요. 추론 속도 관련 문의가 있어서 글 남깁니다.

현재 작동속도가 15점을 차지할정도로 큰 점수를 차지하는데, 이 부분에 대한 정보가 없어서 많이들 헷갈려 하실거 같습니다.

예상 가능한 시나리오는 아래 두가지와 같습니다.

1) ppt를 통해 각자 팀마다의 환경셋팅에서 작동속도를 낮추기 위해 여러가지 시도를 해봤고, 어떤 방법이 몇 % 정도 가속을 해줬다. (심사위원분들이 각 팀들의 방법론을 보고 말그대로 적용가능성을 평가)

2) 데이콘에서 각자의 코드를 받아서 inference를 해본다.

1)

장점:

• 각자 팀마다 환경셋팅에서 다양한 연산 가속화 기법들을 적용해보고, 대회 취지에 맞게 적용가능성을 제시해 줄 수 있다.

단점:

• 각자 팀마다 xx초 가 나왔다는 것은 사용한 연산장치에 따라 확연히 다르기에 공정한 비교가 될 수 없다.
• 각자 팀마다 각자의 환경에서 몇초가 아니라 몇%를 가속했다라고 pt에서 표현하면 되지만 실제로 그정도 나왔는지 검증할수는 없다

(하지만,  전문적인 지식을 가지신 심사위원분들이 방법론 자체를 보고 적용가능성을 판단해주실 수는 있음.  ex) 이정도는 나올 수 있을만한 수치다. 경험적인 검증)

2)

장점:

• 확실한 검증이 된다.

단점 :

• 미리 연산 환경 스펙을 공지해주지 않았다.(최적화 연산은 연산장비에 따라서 지원될수도 있고 될수 없는경우도 많다.), 따라서 대회 진행중 고려할 수 없다.
• 리더보드 상에 연산속도가 점수에 산정되어 표시되는게 아니기 때문에 최종 모델 파일 제출을 전략적으로 할 수도 없고, 이는 도박이나 다름없다.

저는 개인적으로는 1)번의 시나리오가 가장 이상적인 시나리오라고 생각하고, 다른 참가자분들이나 데이콘, 주최자분들께서는 어떻게 생각하시는지 궁금합니다.