2026 Samsung Collegiate Programming Challenge : AI 챌린지

안녕하세요. 데이콘입니다.

2026 SCPC : AI 챌린지의 Public 리더보드 점수와 비공개 검증 절차에 대해 안내드립니다.

본 대회는 공개된 screening task에 대한 단순 최적화가 아니라 비공개 task에서도 동작하는 일반화 가능한 AI Agent Harness 구현을 평가합니다.

따라서 Public 리더보드 점수와 Hidden 데이터 점수 사이에는 차이가 발생할 수 있습니다.

1. Public 점수와 Hidden 점수 차이

Public 리더보드는 공개된 screening task 기준 점수입니다.

반면 예선 종료 후 코드 제출 대상자에 대해서는 별도의 비공개 데이터셋에서 Harness의 재현성 및 일반화 성능을 확인할 수 있습니다.

따라서 다음과 같은 경우 Public 점수는 높더라도 Hidden 점수가 낮게 나올 수 있습니다.

• 공개 screening task에 과도하게 최적화한 경우
• 특정 문항 패턴 또는 공개 task 구조에만 맞춰 예외 규칙을 많이 둔 경우
• 리더보드 반복 제출을 통해 Public 점수에 맞춘 경우
• task 입력 전체를 해석하기보다 일부 표면 패턴에만 의존한 경우
• 비공개 task에서 요구되는 다양한 record 조합을 처리하지 못하는 경우

이는 새로운 문제를 추가로 부과하는 것이 아니라 공개 task에 특화된 제출과 비공개 task에서도 재현 가능한 Harness를 구분하기 위한 절차입니다.

2. 권장되는 Harness 구현 방향

다음과 같은 방식은 일반화 가능한 Harness 구현으로 볼 수 있습니다.

• task 안에 공개된 prompt, device_state, records, visible_history, personal_memory를 해석하는 로직 구현
• task에 포함된 object, record, history 정보를 읽고 answer 각 필드를 일관된 기준으로 생성
• 특정 ID나 row 번호가 아니라, 현재 task에 포함된 공개 입력과 실행 중 유지되는 상태를 바탕으로 답안을 생성
• dev_tasks와 dev_answers를 활용해 일반화 가능한 rule/weight를 점검
• screening task를 정답 없이 입력 분포 파악, 필드 구조 확인 용도로 활용
• 동일한 Harness가 새로운 Hidden task에도 적용될 수 있도록 작성
• 같은 실행 stream 안에서 필요한 상태를 `session`에 저장하고, 이후 task에서 재사용할 수 있도록 설계

task 안에 공개적으로 제공된 문장, object 속성, record 값 등을 parser나 rule로 해석하는 것은 허용됩니다. 

중요한 것은 특정 공개 문항의 정답을 저장하는 것이 아니라, 현재 입력에 포함된 정보를 일반적인 절차로 해석해 답안을 생성하는 것입니다.

3. 지양해야 하는 구현 방향

다음과 같은 방식은 Public 점수는 높일 수 있으나, Hidden 검증에서 점수가 크게 하락하거나 규정 위반으로 판단될 수 있습니다.

• 특정 task_id 또는 session_id에 정답을 직접 매핑
• 공개 screening task별 정답 lookup table 작성
• Public 리더보드 점수를 이용해 task별 정답을 역추정
• 공개 screening Task에만 맞는 예외 규칙을 과도하게 추가
• dev_answers.json의 정답을 그대로 외워 다른 task에 적용
• 공개 task 전체를 기준으로 항목별 처리 방침을 고정
• 외부 LLM/API/네트워크 호출 사용
• 허용되지 않은 외부 pretrained model, tokenizer, embedding 사용
• numpy, pandas, scikit-learn등 외부 패키지 import에 의존하는 코드는 실제 검증 환경에서 실행되지 않을 수 있음

특히 Public 리더보드에 반복 제출하면서 특정 공개 task에만 맞도록 규칙을 조정하는 경우,

Public 점수는 상승할 수 있으나 Hidden calibration 점수에서는 동일한 성능이 유지되지 않을 수 있습니다.

4. 최종 평가 방향

본 대회의 평가는 단순히 Public 리더보드 점수가 높은 제출물을 선발하는 것이 아닙니다.

최종적으로는 다음 기준을 함께 확인합니다.

• 규정을 준수했는지
• 제출 파일이 코드로 재현 가능한지
• 비공개 task에서도 Harness가 일반화되는지
• 외부 모델/API/네트워크 호출 없이 동작하는지
• 특정 공개 task에 대한 하드코딩이 아닌지

참가자 여러분께서는 Public task에만 맞춘 방식이 아니라, 다양한 task 구조에 적용 가능한 일반화된 Harness 구현에 집중해 주시기 바랍니다.