2025 동원 x 카이스트 AI Competition: Unlocking Future Sales & Demographics

재현성 관련 질문

2025.08.26 11:20 205 조회

파라미터 크기가 큰 LLM의 경우, 하나의 프롬프트를 통한 한 번의 답변만으로도 여러개의 페르소나를 생성하고 출력할 수 있지만, A100과 같은 최신 GPU가 있지 않는 한 Local GPU를 통해 실행은 거의 불가능하고,  그럼 random seed 고정이나 temperature, top_p 설정 등을 해도 api 나 cloud gpu 특성으로 인해 절대 같은 프롬프트에 같은 답변을 받을 수가 없습니다. 반대로 파라미터 크기가 작은 LLM은 Local GPU를 통해 실행도 가능하고, 재현성 또한 있지만, 페르소나를 여러개를 만들지는 못한다는 제한이 있습니다.

재현성이라는 것이 완전히 동일한  답변을 받는 것이 맞는지 여쭤보고 싶습니다. 추가로 완전히 동일한 답변이 아닌, 제대로 된 n개의 페르소나 생성만 되어도 재현성이 만족되는 것인지 여쭤보고 싶으며, 이 경우에는 추후 simulation 결과가 달라지게 되는데 그럼 시뮬레이션의 대상 페르소나가 아예 달라지는데, 이후의 분석 결과들 또한 재현이 안 되어 의미가 없는 것이 아닌가 싶어 여쭤봅니다.

로그인이 필요합니다
0 / 1000
DACON.GM
2025.08.26 11:28

LLM 사용에는 별도의 제약이 없으며, API 형태로 제공되는 LLM을 활용하는 것도 가능합니다. (단, 유료 서비스는 참가자가 비용을 부담해야 합니다.)
다만 본 대회에서 중요한 사항은 재현 가능한 페르소나 생성 프롬프트를 발굴하는 목적도 있습니다. 
물론 LLM은 동일한 프롬프트를 입력하더라도 서로 다른 결과를 생성할 수 있으므로, 이러한 특성을 고려하더라도 일관적으로 재현 가능한 결과를 도출할 수 있는 프롬프트를 설계하는 것이 중요합니다. 이에 따라 해당 요소는 평가 항목에도 반영되어 있습니다.