안녕하세요. 

이전 글 답변 주신 내용 중 3번 항목에서, “동일한 모델과 알고리즘을 모든 샘플에 일관되게 적용한다면, generate()를 반복 호출하는 방식은 허용된다”고 명시해 주셨는데, 이 부분과 관련하여 추가적으로 확인하고 싶은 점이 있어 문의드립니다.

이번 대회는 RAG(Retrieval-Augmented Generation) 및 프롬프트 엔지니어링을 중심으로, 사전학습 없이 LLM을 효율적으로 활용하는 능력을 평가하는 것으로 이해하고 있습니다. 그런데 generate()를 반복 호출하는 방식은 단순 RAG를 넘어서, 다음과 같은 고급 LLM 활용 기법을 구현할 수 있다는 점에서 해석의 여지가 있습니다:

Self-Consistency / Multi-path Reasoning

동일한 질문에 대해 다양한 조건(예: temperature 변화)으로 여러 응답을 생성한 뒤, 다수결이나 일관성 판단을 통해 최종 응답을 선택하는 방식.

고도화된 ReAct 방식

단순 검색을 넘어서, LLM이 Thought → Action(Update RAG DB) → Observation 단계를 반복하면서 외부 도구와 상호작용하는 agent-style 추론 방식.

이러한 기법들은 단순히 검색된 정보를 기반으로 응답을 생성하는 RAG의 범위를 넘어, LLM이 능동적으로 추론을 반복하거나 응답을 조율하는 구조로 이해될 수 있습니다.

이에 따라, 대회의 공정성과 일관된 기준을 위해 다음 사항에 대해 명확한 가이드라인을 요청드립니다.

Q: 위에서 제시한  Self-Critique, Self-Consistency, 심화된 ReAct와 같은 방식이 대회에서 허용되는 ‘RAG 및 프롬프트 엔지니어링’의 범주에 포함되는지, 혹은 제한되는 방식인지 구체적인 판단 기준이나 예시를 안내해주실 수 있을까요?

또한,

※ Raw Input에 대해서 Raw Output이 Reproduce가 안되거나, Raw Input에 Retrived 된 Context에 Bias DB가 포함되는 경우 규칙 위반에 해당합니다.

Q:위의 규칙에서 RAG를 하는데, Input에 Retrieved된 Context가 입력되지 않아야 한다는 규칙이 이해가 되지 않아 풀어 설명해주시면 감사하겠습니다.

참가자들이 동일한 기준 아래 전략을 수립할 수 있도록, 반복 호출이 허용되는 기술적 범위에 대한 구체적인 명시가 있다면 감사하겠습니다.