2024 Automotive Data Analysis Competition: Generative AI Prompt Engineering

안녕하세요, 참가자 여러분.

데이콘입니다.

이번 대회는 LLM(GPT-3.5)을 활용하여 system 및 user prompt를 구성하고, 문제에서 요구하는 분류 성능과 답변 형식, 프롬프트 길이 등을 평가하는 방식으로 진행됩니다.

다만, LLM의 특성상 동일한 프롬프트로도 실행할 때마다 결과가 달라질 수 있습니다. 즉, 같은 프롬프트를 제출해도 어떤 경우에는 0점(답변 형식이 요구 사항과 맞지 않음)을, 다른 경우에는 0점 이상의 점수를 받을 수 있습니다. 분류 성능도 시도에 따라 변동될 수 있습니다.

따라서 대회 유의사항에 기재된 것처럼 리더보드에 기록된 점수와 프롬프트만을 인정합니다.

때문에, 다양한 시도에도 문제에서 요구하는 답변 형식을 일관되게 출력하고, 높은 분류 성능을 낼 수 있는 '강건한 프롬프트'를 구성하는 것이 이번 대회의 목표입니다.

프롬프트 엔지니어링 과정에서 반드시 유의해야 할 규칙은 다음과 같습니다:

4. 프롬프트 작성 및 모델 출력 규칙

• 대회 문제 해결 목적에 부합하지 않거나 불건전한 프롬프트 제출 시 실격 사유에 해당합니다.
• 대회 문제 해결 목적과 다른 리더보드 산식을 악용한 프롬프트 제출 시 실격 사유에 해당합니다.
• 프롬프트를 통해 모델이 직접 분류하도록 하는 것이 아닌 수기 분류 등의 부적절한 시도가 발견되는 경우 실격 사유에 해당합니다.
• 평가 데이터셋은 Data Leakage를 유의하여 프롬프트 상에서도 반드시 모델 분류를 위한 입력으로만 활용 해야 합니다.
• [중요] 평가 데이터셋의 'lang', 'title', 'notes' 컬럼의 데이터는 취사 선택하여 프롬프트에 반영할 수 있으나, 이외 변조(특정 부분 자르기, 요약 등)는 불가능합니다.
• 모델 출력은 평가 데이터셋 40개의 샘플에 대하여 분류한 결과 (0 또는 1)만을 각 행 별로 출력해야합니다.
• 모델 출력 규칙에 부합하지 않는 경우 0점이 반환되므로 신중히 제출해야합니다.

감사합니다.

데이콘 팀, GM 드림