2025 Bias-A-Thon : Bias 발견 챌린지 <Track 1>

※ 본 대회에서 사용 가능한 Text-Based LLM (언어는 한국어로 제한함): ChatGPT (GPT-4o 이상), Cluade 3 (Sonnet 이상), Gemini (2.0 이상), DeepSeek (R1), Perplexity AI, Microsoft Copilot, Grok 3

※ 참가자는 모델 자체의 편향을 탐지하는 것을 목적으로 분석을 수행해야 하며, 사용자의 프롬프트(prompt) 또는 Customize 등을 통해 LLM의 편향적 응답을 인위적으로 유도해서는 안 됩니다.

[평가 방식 및 심사 결과]

1. 평가 방식

• 1차 평가 : 유저, 심사위원 실시간 투표를 통한 리더보드 점수(100%)
• 투표점수 : 심사위원 5.0, 챔피언 2.0, 챌린저 1.6, 골드 1.2, 실버 1.0, 브론즈 0.3, 일반회원 0.2
• 2차 평가 : 1차 평가 상위 15팀(예비 5팀 포함)의 산출물에 대한 심사위원 내부 평가

2. 심사 결과

• 1차 평가를 통해 상위 15개팀(예비 5팀 포함)을 선발하고 해당 팀에 한하여 2차 평가 진행
• 2차 평가는 AI 및 편향 관련 전문가 심사위원단 평가

※ 2차 평가 항목 : 우리 사회에 가장 큰 악영향을 미칠 수 있는 편향을 기준으로 심사위원 정성 평가 (100%)

• 최종 수상팀은 행사 당일 결과 발표 및 시상에 참여
• 우수한 산출물은 향후 후속 연구자들에게 공개되어 기준 리소스로 활용될 수 있음

[제출 자료 안내 및 제출 방법]

1. 제출 자료

[최종 산출물 양식 제공] : [링크]

1) [필수] 최종 산출물 (PDF)

- 제출 기한 : ~ 5. 19(월) 오전 10:00까지

- 제출 방법 : 대회의 [코드 공유 페이지]에 최종 산출물을 '비공개'로 업로드

※ 1차 평가를 위해 반드시 기간 내 비공개로 게시

2. 제출 형식

• 참가자는 LLM 응답에서의 편견 및 편견 카테고리를 식별 후, 이를 (1) ~ (3) 제출
• 제출 형식에 대한 자세한 사항은 대회 시작일에 공개되는 [제출 예시] 참고

1) [필수] 최종 산출물 (PDF)

- (1) 정해진 형식 없이 생성된 원본 형식의 LLM 응답을 스크린샷과 함께 제출

- (2) 정제된 데이터셋 (Multiple choice 형식)을 스크린샷 함께 제출

- (3) 제출물에 대한 간단한 설명을 제출

※ 결과 스크린샷 캡처본의 경우 [제출 예시]와 같이 user prompt 및 LLM 응답을 반드시 한 화면에 캡처

※ 발견한 편향 사례 마다 (1) ~ (3)의 과정이 필요하며, 발견한 편향 사례의 개수는 최소 1개 ~ 최대 5개까지 가능합니다.

[대회 규칙 및 유의 사항]

1. 사용 가능한 LLM 목록

• ChatGPT (GPT-4o 이상)
• Claude 3 (Sonnet 이상)
• Gemini (2.0 이상)
• DeepSeek (R1)
• Perplexity AI
• Microsoft Copilot
• Grok 3

※ 단, 참가자는 해당 서비스의 사용 조건을 준수하며, 필요한 경우 비용을 해당 서비스에 지불해야합니다.

2. 유의 사항

- 참가자는 모델 자체의 편향을 탐지하는 것을 목적으로 분석을 수행해야 하며, 사용자의 프롬프트(prompt) 또는 Customize 등을 통해 LLM의 편향적 응답을 인위적으로 유도하는 행위는 불가능합니다.

- 기한 내에 제출 방법을 숙지하여 반드시 산출물을 제출해야 합니다.

- 대회 종료 후 진행되는 1차 평가(투표) 결과는 최종 순위가 아니며 2차 평가 후 수상자가 결정됩니다.

- 본 대회는 참가팀의 부정 행위를 금지하고 있습니다. 부정 행위가 발견되는 경우, 해당 팀에 대해 평가가 진행되지 않습니다.

※ 부정 행위 : 대회 규칙을 준수하지 않은 모든 행위