2025 FSEC AI Challenge : Financial AI Model Challenge

1. 예선 리더보드

• 평가 산식
• 객관식 점수 : 정확도
• 정확도(Accuracy): (정답 일치한 객관식 개수) / (전체 객관식 개수)

• 주관식 점수 : 0.6 X 의미 유사도 + 0.4 X 키워드 재현율 기반 혼합 점수
• 의미 유사도(Cosine Similarity): 예측 문장과 정답 문장 간의 OpenAI 임베딩(text-embedding-3-small) 기반 코사인 유사도

• 키워드 재현율(Keyword Recall): 정답 키워드 중 예측 문장에 등장한 키워드 비율

• Score = 0.5 x 객관식 점수 + 0.5 x 주관식 점수

※ 의미 유사도 평가는 OpenAI 임베딩 API를 기반으로 수행됩니다. 해당 API는 floating-point 허용 오차 수준에서 변동이 있을 수 있습니다. 이로 인해 동일한 제출에서도 점수에 ±0.00005 내외의 미세한 변동이 발생할 수 있습니다.

• Public score : 전체 테스트 데이터(FSKU) 중 사전 샘플링된 50%
• Private score : 전체 테스트 데이터(FSKU) 100%

2. 평가

• 예선 평가 : 리더보드 Private Score 상위 12팀 선발
• 본선 평가 : 예선 평가 선발 12팀 코드 및 결과보고서 제출 후 코드 검증 및 본선 내부 평가
• 추가 비공개 평가 데이터셋에 대한 예측 결과 평가 80% + 결과보고서 서면 평가 점수 20%를 합산한 총점을 기준으로 상위 6팀 선발

🔹추가 비공개 평가 데이터셋: 리더보드 평가 데이터셋이 아닌, 참가자에게 공개되지 않은 별도의 추가 데이터셋

🔹예선 평가를 통과한 12팀은 코드를 제출하고, 심사위원이 이를 활용해 추가 비공개 데이터셋에 대해 직접 추론 및 평가를 진행합니다.

🔹주관식 문항에 대한 심사위원 정성 평가는 '생성된 응답의 표현력, 논리성, 문장 완성도, 실무 활용성' 등을 전문가로 구성된 심사위원단이 종합적으로 평가합니다.

🔹결과 보고서 점수는 위의 평가 항목에 의해 평가되며 총점의 20%가 2차 평가 총점에 반영됩니다.

• 최종 평가 : 본선 평가 선발 6팀 대상 오프라인 발표 평가 후 최종 상위 4팀 수상

🔹발표는 발표자료(PDF)' 파일로 진행 (* 기술적 오류 방지를 위해 PPT는 허용되지 않음)