Max Token 수, Batch Size, 모델 사이즈 등등에 따라 달라집니다.

파라미터를 조절하시면 추론 시간 또한 효율적으로 사용 가능하십니다.

하지만 기존 대회들과 달리 아무래도 느린 것은 사실이네요 ㅜ.ㅜ

위의 답변에 상세 설명일 듯 싶은데요! model.generate 호출할때 data_loader -> batch_size 통해서 배치 인퍼런스 하시면 추론 시간이 많이 절약되며, model.generate 의 max_new_tokens 줄일 수록 데이터의 양이 짤려서 빠르게 인퍼런스 되긴 합니다.