대회를 떠나서
어떤기종에, 어떻게 쓰이느냐에 따라 다르겠지만
1~2초가 넘어가면 사용자가 답답함을 느낄 확률이 큽니다. 
실제 일반인 사용을 가정시 UX적인걸 생각하면 무조건 1초 이내라고 생각합니다.

추론속도는 어떤 환경에서,  어떤 추론장비를 사용했느냐에 따라 달라지는데,
현재 대회주최측에서 추론속도를 어떻게 측정할 것인가를 정하지 않아서 각자 팀마다 추론속도 몇초 나왔다 라는 것은 공정한 비교가 되지 않을 것입니다.
각자 팀마다 동일한 세팅내에서 추론속도를 더 가속하기 위해 어느 시도를 해봤고, 몇 % 빠르게 했다 라는 식의 pt가 진행되어야 하지 않나 생각합니다.

어떤 application에 사용하는지에 따라 좀 달라질 듯 한데요. 저는 개인적으로 정지 영상이라면 1초, 동영상에 쓸 것이라면 30fps로 생각하고 있습니다.