2024 Automotive Data Analysis Competition: Generative AI Prompt Engineering

안녕하세요 참가자 여러분.

정상적인 프롬프트가 아닌, 답안을 수기로 확인하기 위해 샘플 별 특정 Label을 미리 지정하고 출력하게 하여

특정 샘플에 대한 답안을 유추하려는 시도가 발견되는 경우가 발생하고 있으며,

모니터링을 통해 발견되는 경우 즉각 실격 처리 (리더보드 숨김 처리)가 이루어집니다.

또한 대회 종료 후, 오프라인 발표평가 진출 후보팀 대상으로는 대회 기간 동안 제출하였던 프롬프트 기록들에 대해서도 검증이 이루어질 예정입니다.

4. 프롬프트 작성 및 모델 출력 규칙

• 대회 문제 해결 목적에 부합하지 않거나 불건전한 프롬프트 제출 시 실격 사유에 해당합니다.
• 대회 문제 해결 목적과 다른 리더보드 산식을 악용한 프롬프트 제출 시 실격 사유에 해당합니다.
• 프롬프트를 통해 모델이 직접 분류하도록 하는 것이 아닌 수기 분류 등의 부적절한 시도가 발견되는 경우 실격 사유에 해당합니다.
• 평가 데이터셋은 Data Leakage를 유의하여 프롬프트 상에서도 반드시 모델 분류를 위한 입력으로만 활용 해야 합니다.
• [중요] 평가 데이터셋의 'lang', 'title', 'notes' 컬럼의 데이터는 취사 선택하여 프롬프트에 반영할 수 있으나, 이외 변조(특정 부분 자르기, 요약 등)는 불가능합니다.
• 모델 출력은 평가 데이터셋 40개의 샘플에 대하여 분류한 결과 (0 또는 1)만을 각 행 별로 출력해야합니다.
• 모델 출력 규칙에 부합하지 않는 경우 0점이 반환되므로 신중히 제출해야합니다.

감사합니다.

데이콘 팀, GM 드림