데이스쿨! 가을맞이 특별할인
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
2025 금융 AI Challenge : 금융 AI 모델 경쟁
RAG용 임베딩 모델은 추론용 LLM과 다른 모델을 사용할 수 있나요?
"6) 추론 모델은 반드시 단일 LLM 모델이어야함"이라는 규칙의 기준에 대해서 RAG용 임베딩 모델과 추론용 LLM으로 다른 모델을 사용하는 것이 가능한지 궁금합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
단일 LLM 모델 규칙은 텍스트를 생성하는 모델에만 적용됩니다.
즉, 답변(출력 텍스트)을 직접 만들어내는 과정에서는 반드시 하나의 LLM만 사용해야 한다는 의미입니다.
따라서, RAG(Retrieval-Augmented Generation) 과정에서 검색용 임베딩 모델을 따로 사용하고, 검색된 결과를 단일 LLM에게 전달하여 최종 답변을 생성하는 것은 규칙 위반이 아닙니다.
임베딩 모델은 텍스트 생성을 하지 않으며, 단일 LLM 모델에 입력을 전달하기 위한 검색 모듈로 간주되므로 사용 가능합니다.