2024 제4회 K-water AI 경진대회 : 상수도 관망 이상 감지 AI 알고리즘 개발

제출물 0점 처리 관련 질문드립니다.

2024.12.09 00:34 1,268 조회

안녕하세요,

제출파일의 0점처리와 관련하여 궁금한 사항이 있어 질문드립니다.


이전 제출물의 개선사항을 확인하고 코드 수정 후 얻은 csv 결과물을 다시 제출하였는데,

점수가 완전히 0점으로 들어가는 것이 어떤 이유에서인지 궁금하여 질문드립니다.

타 대회 사례를 찾아보니 0점으로 검사가 되는 것은 대부분 한글 라벨이 붙어 있는 경우

ANSI 인코딩 오류 혹은 한글자모 분리 문제로 인해 데이터 인식이 제대로 되지 않을 때로 보이는데,

본 대회 제출물 양식에는 한글이 전혀 포함되어 있지도 않고, 내용 상 문제도 없어 보입니다만

어떻게 0점으로 처리된 것인지를 알 수 없어 질문을 드립니다.


운영진님께, 어떠한 부분이 문제가 되는 것인지 정답과 관련한 것이라면

세세히 답변하시기 어려운 점 이해합니다.

그러나 기존 제출물은 0점이 아니었는데

개선한 버전의 점수가 완전히 0점 처리 되는 것은 무슨 이유에서인지

팀 내부에서 도저히 실마리를 찾지 못하여 질문을 남깁니다.


혹시 저와 같은 문제를 겪고 계신 혹은 해결하신 분들께,

이 글에 반응 남겨 주시면 감사하겠습니다, 또한 해결 방법을 찾으셨다면

어떤 부분에서 문제를 찾으셨는지도 언질 주시면 무척 감사하겠습니다.

배움이 짧은 관계로 많은 도움을 부탁드립니다.


감사합니다.


로그인이 필요합니다
0 / 1000
필_
2024.12.09 01:22

import ast
import pandas as pd
import numpy as np

submission = pd.read_csv("제출물 파일 이름.csv")
print((submission[submission['ID'].str.contains('C')]['flag_list'].apply(lambda x: len(np.array(ast.literal_eval(x))))==8).sum() == len(submission[submission['ID'].str.contains('C')]))
print((submission[submission['ID'].str.contains('D')]['flag_list'].apply(lambda x: len(np.array(ast.literal_eval(x))))==6).sum() == len(submission[submission['ID'].str.contains('D')]))

둘다 True가 출력되는 지 확인해보시면 좋을 것 같습니다

temmietaxi
2024.12.09 01:30

DH.BU님께, 먼저 답변 주셔서 정말 감사합니다. 확인 결과, 둘 다 True로 나옵니다. 혹시 이 외에 짐작 가시는 원인이 또 있으시다면 말씀 주시면 시험해 보겠습니다.

필_
2024.12.09 01:51

print(len((submission[submission['ID'].str.contains('C')]['ID']).unique()) == 2920)
print(len((submission[submission['ID'].str.contains('D')]['ID']).unique()) == 2738)

이것도 확인해보시겠어요?

temmietaxi
2024.12.09 02:20

DH.BU님께, 확인해 본 결과 정상 출력됩니다.(둘 다 True) 직접 .csv 내용물 열람도 해보았고 위 두 코드 내용을 고려해 보았을 때 flag_list의 인식도 정상적으로 되는 것 같은데 참 의아하네요. ㅜㅜ 아무리 생각해도 정확하게 0점이 뜰 정도로 엇나가는 건 불가능할 듯한데 희한한 일입니다.

박둘
2024.12.09 16:17

혹시 대회 끝나고 간단하게 리뷰나 공유 가능하실까요??
감을 못잡겠네용

DACON.GM
2024.12.09 09:13

문의자분의 제출 기록을 바탕으로 확인하였을 때는 정상적으로 채점된 결과로 판단됩니다.
평가 산식을 자세히 확인해보시는 것을 권장드립니다.

Redix6
2024.12.09 10:56

평가 metric을 보시면 유효 샘플에 대해서만 평가된다고 되어있습니다.
해당 예측들이 유효하지 않은 샘플이면 전부 0처리가 되기 때문에
0이 나올 수 있습니다. 

박둘
2024.12.09 15:53

C의 비정상 샘플에 대해서 한개도 못 맞춰야지만 0이 나올수 있습니다.
혹은 맞췄지만 맞춘 영역의 가중치가 0인 경우 밖에 없는것으로 보입니다.