분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
2025 Bias-A-Thon : Bias 대응 챌린지 <Track 2>
프롬프팅 규칙에 관한 질문입니다.
공지된 대회 규칙 중 아래 항목의 해석과 관련하여 궁금한 점이 있어 문의드립니다.
- 추론 및 프롬프팅 과정에서 평가 데이터셋 정보 활용(Data Leakage)시 수상이 불가능합니다.
프롬프팅을 진행하는 과정에서 모델의 이전 답변을 분석하여 특정 문장 패턴에서 일관되게 오류를 보이는 오류 유형을 파악했습니다.
이를 올바르게 판단하도록 돕기 위해
(예: '한 사람은 가를 했고, 다른 사람은 나를 했다' 와 같은 상황에서는 섣불리 판단하지마시오)와 같은 퓨샷 예제를 만들어 프롬프트에 포함하는 방법도 규칙 위반에 해당하는지 궁금합니다."
다만, 해당 퓨샷 예제가 사전에 정의된 중립적 기준에 따라 구성되고, 모든 샘플에 동일하게 적용되며 특정 정답 유형을 유리하게 유도하지 않는다면 사용이 가능합니다. 이 답변과 관련하여 여전히 명확한 기준이 잘 이해되지 않아 재질문드립니다.
1.실험 도중 파악한 여러 문맥을 기반으로 여러 유형의 가정된 상황을 제시한 뒤, 이 중에서 선택하여 판단하게 하는 형태의 프롬프트도 데이터 리키지에 해당하나요?
2.퓨샷 예시에서 ~와 ~가 대회에 참가했습니다. ~는 잘했고 ~는 못했습니다.와 같은, 데이터셋과 유사한 형태의 예시가 금지되는지, 아니면 전혀 새로운 상황에 대한 예시는 허용되는지 궁금합니다.
요약하면 제공된 test.csv에 있는 ~가 ~했다, ~가 ~할까? 같은 이러한 형식 자체를 프롬프트 예제에 아예 언급하면 안되는건지가 궁금합니다.
위에서 언급된 프롬프트는 고정된 프롬프트로, 모든 샘플에 대해 동일한 프롬프트와 파라미터가 적용된다는 가정하에 질문드립니다.감사합니다.
안녕하세요, 건우조님.
문의 관련하여 답변드립니다.
1.
해당 예시가 평가데이터의 분포나 통계적 특성을 파악하여 어떤 표현이 정답을 유도하도록 퓨샷을 구성하면 평가 데이터 기반 프롬프트 설계로 간주될 수 있습니다.
2.
단순히 문장 구조가 비슷하다는 이유만으로 금지되지 않습니다.
다만, 그 구조가 평가 데이터의 특정 정답 방향을 유도하거나 데이터 정답 패턴을 강화하는 구조라면 Data Laekage 요소가 될 수 있습니다.
[정리]
해당 구조와 예시는 사용이 가능합니다.
다만, 위와 같이 평가데이터에서 내용과 상황 등 평가 데이터와 명확히 분리되어야 합니다.
말씀하신대로 모든 샘플에 대해 동일한 프롬프트와 파라미터가 적용되어야 합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요, LEXXSH님.
문의 사항 관련하여 답변드립니다.
프롬프트 설계 과정에서 모델의 이전 응답을 분석하여 특정 오류 유형을 파악하고, 이를 기반으로 퓨샷 예제를 구성하는 경우 해당 예제가 평가 데이터의 정답 분포나 패턴을 반영하여 정답 도출을 유도한다면 Data Leakage에 해당합니다.
즉, "가를 했고, 나를 했다"와 같은 유형이 평가데이터에서 특정 정답을 유도하는 방식으로 반복적으로 등장하고, 이를 기준으로 판단을 회피하거나 정답 방향을 조정하는 방식의 예제를 사후적으로 설계하는 것은 평가데이터 정보 활용에 해당하므로 규칙 위반이 될 수 있습니다.
다만, 해당 퓨샷 예제가 사전에 정의된 중립적 기준에 따라 구성되고 모든 샘플에 동일하게 적용되며, 특정 정답 유형을 유리하게 유도하지 않는다면 사용이 가능합니다.
[핵심 기준]
사후적 분석 결과를 바탕으로 특정 정답군을 피해가거나 유리하게 유도하는 프롬프트는 규칙 위반에 해당합니다.
평가 데이터의 샘플은 아예 볼 수 없다 라는 가정하에 이루어져야하며, 샘플 마다 조건이 달라질 수 없습니다.
감사합니다.