SW중심대학 디지털 경진대회_SW와 생성AI의 만남 : AI 부문

SW중심대학 | AI부문 | 알고리즘 | 음성 | 도메인 적응 | AUC | Brier Score | ECE

상금 : 1,220 만원
897명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

test 데이터에 관하여 질문 드립니다.

tinycaterpillar

2024.07.01 21:18 2,847 조회

"각 샘플 당 최대 2명의 목소리(진짜 혹은 가짜)가 존재"라는 표현에 대하여 질문드립니다.

2명의 목소리가 들어있는 샘플은 둘 중 어떤 상황인가요?

1. 한 샘플에는 가짜와 진짜 목소리 모두 들어가 있다.

2. 한 샘플에 가짜 목소리 2개 이거나 진짜 목소리 2개이다.

sample_submission 양식에서 fake, real 확률을 모두 제출하는 것으로 보아 1번인 것으로 보입니다(그렇지 않으면 fake일 확률만을 제출하게 하고 real일 확률은 1을 빼서 채점하면 되므로). 그리고 TEST_05166.ogg 파일을 들어보면 1번 같아요. 그러나 "혹은"의 의미는 2번을 의미하는 것으로 알고 있습니다.

댓글 11개

로그인이 필요합니다

comment

0 / 1000

DACON.GM

2024.07.01 21:22

Test 샘플은 6가지 케이스로 구성될 수 있습니다.
1) 1명의 진짜 목소리만 존재
2) 1명의 가짜 목소리만 존재
3) 1명의 진짜 목소리와 1명의 가짜 목소리가 존재
4) 2명의 진짜 목소리가 존재
5) 2명의 가짜 목소리가 존재
6) 아예 목소리가 없는 경우

예를 들어, 특정 테스트 샘플에 가짜와 진짜 목소리의 2명의 사람 목소리가 존재하는 경우 Label은 [1, 1]이 됩니다.
반대로 사람 목소리가 샘플에 하나도 존재하지 않는 다면 Label은 [0, 0]이 됩니다.
즉, 샘플에 각각 진짜 / 가짜 목소리가 존재하는 지 탐지하는 Multi-Label Classification을 수행한다고 이해해주시면 됩니다.

감사합니다.

tinycaterpillar

2024.07.01 21:25

빠른 답변 감사드립니다!!

Sungsik1004

2024.07.02 10:59

그러면 제출 양식에 확률을 적는것이 아니라 사람 목소리가 존재하는 라벨로 [0,0][0,1],[1,0],[1,1]로 제출하는것이 맞을까요?

DACON.GM

2024.07.02 11:07

예시로 들어드린 것은 Ground-Truth 일 때를 예시로 들어드린 것이며, 제출 양식은 데이터 명세와 같이
1) id : 평가용 오디오 샘플 ID
2) fake : 해당 샘플에 가짜 목소리가 존재할 확률 (0~1)
3) real : 해당 샘플에 진짜 목소리가 존재할 확률 (0~1)
위의 컬럼으로 구성되어 있습니다.
평가 산식은 모두 확률 예측 결과값에 기반하여 계산되는 산식이기에 0~1의 확률로 제출하시는 것을 권장드립니다.