2024 자동차 데이터 분석 경진대회 : 생성 AI 프롬프트 엔지니어링

👏👏

모두 공감가는 아이디어입니다.
1, 2번은 실험으로 확인했고, 4번은 저 역시 적용했습니다만,
2, 3번을 어떻게 프롬프트에 반영할 방법을 제대로 찾지 못해 스코어 상승에 실패한 것 같아요. ㅎㅎ

과정 중에 재밌었던 건,

for 'i', 'k' in user:
'''당신은 데이터 전문가입니다. 입력된 데이터 중에서 자동차 관련 데이터를 판별해야 합니다.'''
if 'k'는 자동차 관련 데이터가 아닙니다:
return 0
elif  'k' related to 'vehicle, automobie, expressway, roads, traffic, transportation':
return 1

### 데이터는 TEST_00 ~  TEST_39까지 40개며, 답변은 각 데이터 당 행으로 구분해서 연속된 40행으로 제공해주세요.

위와 같은 system 내 프롬프트로 0.82정도의 스코어를 기록할 수 있던 점입니다. 

공유 감사합니다.
고생 많으셨습니다.

실험을 여러가지로 많이 하셨겠네요. 고생 많으셨습니다.
저는 LLM 돌려서 프롬프트 문장 한 100개정도 추천받은 다음에 랜덤으로 선택하고 반복 돌려서 최고스코어 나온 프롬프트 찾으려고 했는데 개인사정때문에 시간이 없어서 끝까지 구현을 못했습니다. 
좋은 아이디어를 그냥 보고 가자니 양심에 찔려서 제 아이디어도 공유합니다.

공유 감사합니다. 저는 느낀점이 대회 output 형식인 0\n0\n...\n1 이 방식을 gpt 3.5 turbo 모델에 강요하니 정확도가 너무 떨어졌고 이 문제를 결국 해결하지 못했습니다. 그리고 확실히 문장과 정답을 출력하라고 하던지 (chain of thought 활용) 아니면 1. 0 2. 0 ... 40. 1 이런 형식으로 정답을 출력하게 하면 정확도가 100%가 나오는데 0\n0\n... 처럼 정답만 바로 출력하라고 하면 문제를 일으키더군요. 재밌는점은 gpt-4o를 쓰면 정답만 다이렉트로 출력하라고해도 100%로 다 맞추더라고요. 4o와 3.5 사이 격차가 꽤 크다는걸 느꼈습니다 (그리고 3.5를 더이상 사용할 필요가 있을까... 의문점도 들게 만드는 대회였네요).