2025 금융 AI Challenge : 금융 AI 모델 경쟁

단일 LLM 조건 문의

2025.08.26 07:44 223 조회

크기가 작은 모델을 사용합니다.

그래서 램 용량이 너무 많이 남는데

이럴 경우에 배치 추론을 해도 단일 LLM으로 인정 되는지 궁금합니다.

(동일 LLM 인스턴스가 한번에 질문 4개씩 처리)

로그인이 필요합니다
0 / 1000
DACON.GM
2025.08.26 09:51

배치 추론과 단일 LLM 추론 규칙과는 관련이 없습니다.
배치 추론은 문제없으나, 배치의 크기보다 적은 입력이 들어오더라도 정상적으로 동작할 수 있어야합니다.