안녕하세요.

대회 규정 관련하여 두 가지 문의드릴 사항이 있습니다.

1. 추론 시간 측정 범위 관련

검색 증강 생성(RAG) 방식 관련하여 전체 추론 과정을 다음과 같이 구성했습니다.

1. 준비된 문서를 인덱싱하는 과정

2. 사용자 질문을 임베딩 모델로 벡터화하는 시간

3. 미리 구축된 인덱스에서 관련 문서를 검색(Retrieval)하는 시간

4. 검색된 문서와 질문을 LLM에 입력하여 최종 답변을 생성하는 시간

규정상 추론 시간에는 1번 과정의 소요 시간이 포함되는지,

아니면 구축된 인덱스를 모델에 활용한 모든 외부 데이터로 간주하여

inference.py에 2~4번 과정만을 구현하여 측정하면 되는지 명확한 가이드라인을 알려주시면 감사하겠습니다.

2. 결과 재현성(Reproducibility) 평가 환경 관련

시드(seed) 고정 등의 설정으로 단일 환경에서는 일관된 결과를 확인했으나,

GPU 종류 등 하드웨어 환경이 다를 경우 결과가 미세하게 달라질 수 있는 것으로 알고 있습니다.

이에 최종 평가 시 재현성 검증이 참가자가 제출한 환경 기준으로 이루어지는지,

아니면 주최 측의 특정 평가 환경에서 거의 동일한 결과가 재현되어야 하는지 안내 부탁드립니다.

바쁘시겠지만 확인 후 답변 부탁드립니다.

감사합니다.