2025 금융 AI Challenge : 금융 AI 모델 경쟁

RAG용 임베딩 모델은 추론용 LLM과 다른 모델을 사용할 수 있나요?

2025.08.27 13:15 237 Views

"6) 추론 모델은 반드시 단일 LLM 모델이어야함"이라는 규칙의 기준에 대해서 RAG용 임베딩 모델과 추론용 LLM으로 다른 모델을 사용하는 것이 가능한지 궁금합니다.

Login Required
0 / 1000
DACON.GM
2025.08.27 13:32

단일 LLM 모델 규칙은 텍스트를 생성하는 모델에만 적용됩니다.
즉, 답변(출력 텍스트)을 직접 만들어내는 과정에서는 반드시 하나의 LLM만 사용해야 한다는 의미입니다.
따라서, RAG(Retrieval-Augmented Generation) 과정에서 검색용 임베딩 모델을 따로 사용하고, 검색된 결과를 단일 LLM에게 전달하여 최종 답변을 생성하는 것은 규칙 위반이 아닙니다.
임베딩 모델은 텍스트 생성을 하지 않으며, 단일 LLM 모델에 입력을 전달하기 위한 검색 모듈로 간주되므로 사용 가능합니다.