데이스쿨! 가을맞이 특별할인
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
2025 금융 AI Challenge : 금융 AI 모델 경쟁
단일 LLM 조건 문의
크기가 작은 모델을 사용합니다.
그래서 램 용량이 너무 많이 남는데
이럴 경우에 배치 추론을 해도 단일 LLM으로 인정 되는지 궁금합니다.
(동일 LLM 인스턴스가 한번에 질문 4개씩 처리)
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
배치 추론과 단일 LLM 추론 규칙과는 관련이 없습니다.
배치 추론은 문제없으나, 배치의 크기보다 적은 입력이 들어오더라도 정상적으로 동작할 수 있어야합니다.