분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
2024 제4회 K-water AI 경진대회 : 상수도 관망 이상 감지 AI 알고리즘 개발
제출물 0점 처리 관련 질문드립니다.
안녕하세요,
제출파일의 0점처리와 관련하여 궁금한 사항이 있어 질문드립니다.
이전 제출물의 개선사항을 확인하고 코드 수정 후 얻은 csv 결과물을 다시 제출하였는데,
점수가 완전히 0점으로 들어가는 것이 어떤 이유에서인지 궁금하여 질문드립니다.
타 대회 사례를 찾아보니 0점으로 검사가 되는 것은 대부분 한글 라벨이 붙어 있는 경우
ANSI 인코딩 오류 혹은 한글자모 분리 문제로 인해 데이터 인식이 제대로 되지 않을 때로 보이는데,
본 대회 제출물 양식에는 한글이 전혀 포함되어 있지도 않고, 내용 상 문제도 없어 보입니다만
어떻게 0점으로 처리된 것인지를 알 수 없어 질문을 드립니다.
운영진님께, 어떠한 부분이 문제가 되는 것인지 정답과 관련한 것이라면
세세히 답변하시기 어려운 점 이해합니다.
그러나 기존 제출물은 0점이 아니었는데
개선한 버전의 점수가 완전히 0점 처리 되는 것은 무슨 이유에서인지
팀 내부에서 도저히 실마리를 찾지 못하여 질문을 남깁니다.
혹시 저와 같은 문제를 겪고 계신 혹은 해결하신 분들께,
이 글에 반응 남겨 주시면 감사하겠습니다, 또한 해결 방법을 찾으셨다면
어떤 부분에서 문제를 찾으셨는지도 언질 주시면 무척 감사하겠습니다.
배움이 짧은 관계로 많은 도움을 부탁드립니다.
감사합니다.
DH.BU님께, 먼저 답변 주셔서 정말 감사합니다. 확인 결과, 둘 다 True로 나옵니다. 혹시 이 외에 짐작 가시는 원인이 또 있으시다면 말씀 주시면 시험해 보겠습니다.
print(len((submission[submission['ID'].str.contains('C')]['ID']).unique()) == 2920)
print(len((submission[submission['ID'].str.contains('D')]['ID']).unique()) == 2738)
이것도 확인해보시겠어요?
DH.BU님께, 확인해 본 결과 정상 출력됩니다.(둘 다 True) 직접 .csv 내용물 열람도 해보았고 위 두 코드 내용을 고려해 보았을 때 flag_list의 인식도 정상적으로 되는 것 같은데 참 의아하네요. ㅜㅜ 아무리 생각해도 정확하게 0점이 뜰 정도로 엇나가는 건 불가능할 듯한데 희한한 일입니다.
혹시 대회 끝나고 간단하게 리뷰나 공유 가능하실까요??
감을 못잡겠네용
문의자분의 제출 기록을 바탕으로 확인하였을 때는 정상적으로 채점된 결과로 판단됩니다.
평가 산식을 자세히 확인해보시는 것을 권장드립니다.
평가 metric을 보시면 유효 샘플에 대해서만 평가된다고 되어있습니다.
해당 예측들이 유효하지 않은 샘플이면 전부 0처리가 되기 때문에
0이 나올 수 있습니다.
C의 비정상 샘플에 대해서 한개도 못 맞춰야지만 0이 나올수 있습니다.
혹은 맞췄지만 맞춘 영역의 가중치가 0인 경우 밖에 없는것으로 보입니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
import ast
import pandas as pd
import numpy as np
submission = pd.read_csv("제출물 파일 이름.csv")
print((submission[submission['ID'].str.contains('C')]['flag_list'].apply(lambda x: len(np.array(ast.literal_eval(x))))==8).sum() == len(submission[submission['ID'].str.contains('C')]))
print((submission[submission['ID'].str.contains('D')]['flag_list'].apply(lambda x: len(np.array(ast.literal_eval(x))))==6).sum() == len(submission[submission['ID'].str.contains('D')]))
둘다 True가 출력되는 지 확인해보시면 좋을 것 같습니다