2025 Bias-A-Thon : Bias 대응 챌린지 <Track 2>

※ 본 대회의 경우 모델: Llama-3.1-8B-Instruct 모델 , text-based LLM output, 언어는 한국어로 제한함

• 프롬프트 엔지니어링과 RAG 기법만 사용 가능하며, Fine-tuning 등의 나머지 모든 방법론 사용 불가능



[리더보드 평가 및 심사 결과]

1. 리더보드

• 평가 산식 : Accuracy
• Public Score : 전체 테스트 데이터 중 사전 샘플링된 50%
• Private Score : 전체 테스트 데이터 중 나머지 50%

2. 평가 및 심사 결과

• 1차 평가: 리더보드 Private Score(100%)
• 2차 평가: Private 리더보드 상위 15팀(예비 5팀 포함)의 산출물에 대한 심사위원 내부 평가

• 2차 평가 항목

• 리더보드 환산식 : 50 X ((평가 대상팀 Private 리더보드 점수) / (전체 Private 리더보드 최고 점수))^N (N은 조정 계수로 1~5 사이로 설정되며 비공개)
• 최종 수상팀은 행사 당일 결과 발표 및 시상에 참여
• 우수한 산출물은 향후 후속 연구자들에게 공개되어 기준 리소스로 활용될 수 있음

[제출자료 안내 및 제출 방법]

1. 1차 평가

1) [필수] 모델 예측 결과 파일(CSV)

- 제출 기한 : 25. 05. 19(월) 오전 10:00 까지

- 제출 방법 : [제출] 탭에 예측 결과 파일 업로드

※ Raw Input에 대해서 Raw Output이 Reproduce가 안되거나, Raw Input에 Retrived 된 Context에 Bias DB가 포함되는 경우 규칙 위반에 해당합니다.

※ 파일 제출 시 마다 순위가 가장 높은 파일이 자동으로 선택됨.

최종 채점받고 싶은 파일이 순위가 가장 높은 파일이 아닌 경우 채점 받고 싶은 파일을 직접 선택할 수 있음

※ 1일 최대 제출 횟수 : 5회

2. 2차 평가

1차 평가 종료 후 Private 리더보드 상위 15팀(예비 5팀 포함)은 2차 평가 대상팀으로 아래의 양식에 맞추어 코드, 발표 자료를 dacon@dacon.io 기한 내 메일로 제출

※ 메일 발송 시 제목을 '[팀명] 2025 Bias-A-Thon Track 2 최종 산출물 제출' 로 통일

※ 제출 기한 : ~ 5. 22(목) 오전 10시까지

1) [필수] 코드

- 제출 형태

⓵ Private Score 복원이 가능한 코드 파일

⓶ 외부 데이터 사용 시 사용한 모든 외부 데이터 파일

- 제출 양식

※ 제출한 코드는 Private Score 복원이 가능해야함

⓵ 코드와 주석 인코딩 : UTF-8

⓶ 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

⓷ 개발 환경(OS) 및 라이브러리 버전 기재

2) [필수] 발표 자료

- 제출 형태 : 발표 15분 분량의 자유 양식으로 문제 해결 솔루션 PDF로 제출 (발표 15분, 질의응답 5분 예정)

※ 발표는 '발표자료(PDF)' 파일로 진행 * 기술적 오류 방지를 위해 PPT는 허용되지 않음

[대회규칙 및 유의사항]

1. 사용 가능 언어

- Python

2. 외부 데이터 관련 규칙

- Neutral하고 Unbias된 외부 데이터만 사용 가능

- BBQ, UnQover, StereoSet, WinoBias, TriviaQA 데이터셋은 사용 불가능

※ 허용되지 않은 외부 데이터 사용이 적발되는 경우 규칙 위반에 해당합니다.

3. 모델 사용 규칙

- 본 트랙에서는 Llama-3.1-8B-Instruct 모델을 사용하여 프롬프트 및 RAG 기반 응답을 생성해야 합니다.

- 해당 모델은 반드시 로컬 환경에 직접 로드하여 실행해야 하며, 외부 API 서비스(예: Hugging Face Inferece API, Together AI, OpenRouter 등)를 통한 호출은 불가능합니다.

- 즉, 모델 파라미터가 실제로 참가자의 개발 환경에 존재하고, 로컬에서 모델을 구동하는 방식이어야 하며, 제3자 서버에서 제공하는 추론 결과를 사용하는 것은 허용되지 않습니다.

4. 유의 사항

- 1일 최대 제출 횟수: 5회

- 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.

- 추론 및 프롬프팅 과정에서 평가 데이터셋 정보 활용(Data Leakage)시 수상이 불가능합니다.

- 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 합니다.

- 대회 종료 후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 및 2차 평가 후 수상자가 결정됩니다.

- 본 대회는 참가팀의 부정 행위를 금지하고 있습니다. 부정 행위가 발견되는 경우, 해당 팀에 대해 평가가 진행되지 않습니다.

- 대회 기간 중 규칙 위반 의심 정황이 발견되는 경우 주최측에서 해당 팀에게 소명 및 코드를 요청할 수 있습니다.

※ 부정 행위 : 대회 규칙을 준수하지 않은 모든 행위