FSI AIxData Challenge 2024

1. 리더보드

• 평가 산식
• Macro F1 Score : 분류모델 정확성(35%), 생성모델 유용성(35%) 평가

1) 분류모델 정확성, 생성모델 유용성 평가를 위해 test.csv에 대한 예측 결과를 제출 파일(zip) 내에 clf_submission.csv 과 동일한 파일명의 예측 결과 데이터 프레임이 반드시 존재해야합니다.

• TCAP : 생성모델 익명성(30%) 평가

1) 생성모델 익명성 평가를 위해 제출 파일(zip) 내에 syn_submission.csv 과 동일한 파일명의 생성 데이터 프레임이 반드시 존재해야합니다.

2) 생성모델 익명성 평가를 위해 전체 클래스(13개) 별 1000개, 총 13,000개의 데이터를 생성하여 제출해야합니다.

3) 생성모델 익명성 평가를 위해 사전에 주최측에서 지정한 Key, Target 컬럼에 대해 평가하며, 이 컬럼은 공개하지 않습니다.

4) 데이터 명세를 참조하여 모든 컬럼이 데이터 생성 조건에 맞게 생성되어야합니다.

※ 익명성 평가 : 원본데이터의 주요 속성 값을 알고 있을 때, 합성데이터를 통해 원본데이터 내 개인의 민감한 정보(목표 속성)를 유추해낼 위험성을 평가

※ 원본데이터는 배포 데이터 중 학습 데이터인 train.csv를 사용

• Score = 0.7 x Macro F1 Score + 0.3 x (1 - TCAP)
• Public score
• 분류(Macro F1 Score) : 전체 테스트 데이터 중 사전 샘플링된 50%
• 생성(TCAP) : 생성한 데이터 중 전체 100%
• Private score
• 분류(Macro F1 Score) : 전체 테스트 데이터 중 전체 100%
• 생성(TCAP) : 생성한 데이터 중 전체 100%

2. 평가

• 1차 평가 : 리더보드 Private Score 상위 12팀 선발
• 2차 평가 : 1차 평가 선발 12팀 코드 및 결과보고서 제출 후 코드 검증 및 서면 평가
• 리더보드 Private Score 점수 80% + 결과보고서 서면 평가 점수 20%를 합산한 총점을 기준으로 상위 8팀 선발
• 서면 심사항목

• 3차 평가 : 2차 평가 선발 8팀 대상 오프라인 발표 평가
• 2차 평가 점수 70% + 오프라인 발표 평가 점수 30%를 합산한 총점을 기준으로 상위 4팀 최종 수상자 선정
• 발표 평가 항목

3. 참여

• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 단체 혹은 기관 참여시 별도의 절차가 필요합니다. (More > 공지사항> 게시글 확인)
• 개인 참가 방법: 팀 신청 없이, 자유롭게 제출 창에서 제출 가능
• 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
• 팀 최대 인원: 4 명

                   * 동일인이 개인 또는 복수팀에 중복하여 등록 불가.

• 1일 제출 가능 횟수: 3회

4. 외부 데이터 및 사전 학습 모델 관련 규칙

• 대회 제공 데이터 이외의 외부 데이터 사용 금지
• 법적 제약이 없으며 논문으로 공개된 베이스의 사전 학습 모델(Pre-trained Model) 사용 가능
• 참가자 본인이 외부 데이터로 사전 학습 모델을 추가 학습시켜 사용하는 것은 불가능

5. [2차 평가] 코드 및 결과보고서 제출 규칙

• 대회 종료 후 2차 평가 대상자는 아래의 양식에 맞추어 코드와 모델 체크포인트, 코드 실행 방법이 담긴 자료를 dacon@dacon.io 메일로 기한 내에 제출
• 제출한 코드는 Private Score 복원이 가능해야 함

o  코드에 ‘/data’ 데이터 입/출력 경로 포함

o  사용 가능 언어: Python

o  코드와 주석 인코딩: UTF-8

o  모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o  개발 환경(OS) 및 라이브러리 버전 기재

• 제출 파일 목록

o Private Score 복원이 가능한 코드 파일

o Private Score 복원이 가능한 모델 weight 파일

o 결과보고서 자료

o [중요] 팀원 전체의 참가 자격을 증빙할 수 있는 자료 (재학증명서, 재직증명서 등)

• 결과보고서 자료

o 심사 항목에 대한 내용을 담은 자유 양식의 결과보고서

6. 유의 사항

• 1일 최대 제출 횟수: 3회
• 사용 가능 언어: Python
• 대회 기간 내 팀 외의 모든 인사이트 및 코드 공유는 데이콘 플랫폼 내에서 공개적으로만 이루어져야하며 이 밖의 모든 비공식적인 공유 행위는 Private Sharing으로 간주합니다.
• 모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 엄격히 금지하고 있으며, 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다.
• 자세한 사항은 링크를 참고해 주시기 바랍니다.

7. 문의

• 데이콘은 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해 주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 [토크] 페이지 대회 문의 게시글에 댓글을 올려 주시기 바랍니다.