2024 자동차 데이터 분석 경진대회 : 생성 AI 프롬프트 엔지니어링

테스트 데이터의 개수는 항상 40개인가요?

2024.10.09 00:59 981 조회

대회 규칙에

GPT 모델의 응답이 40개의 행으로 각각 0 또는 1의 답변으로만 구성되지 않는 다면 전체 점수 0점 처리

라는 말이 있는데,


점수 계산 과정에서는

Public score : 전체 테스트 데이터 중 사전 샘플링된 50%

Private score : 전체 테스트 데이터 100%

라고 적혀 있어서요. 이게 Public 점수 계산은 40개중 선별된 20개(40개 중 20개)에 대해 계산하고 Private는 40개 전체에 대해 계산하는 건지,

아니면 Private score는 80개 대상으로 채점하는 것인지 궁금합니다.

로그인이 필요합니다
0 / 1000
byc3230
2024.10.09 15:20

전자가 맞아 보입니다..!!

DACON.GM
2024.10.10 09:03

네, 말씀주신 'Public 점수 계산은 40개중 선별된 20개(40개 중 20개)에 대해 계산하고 Private는 40개 전체에 대해 계산' 이 정확합니다.