분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
평가 산식 관련 문의드립니다.
대회안내 > 규칙 > 1. 평가 의 평가 산식 코드가 잘못된 것 같아 질문드립니다.
제가 참고한 NMAE 수식도 함께 첨부합니다.
확인해주시면 감사하겠습니다.
댓글 남겨주셔서 감사합니다!
안녕하세요. 작성자님.
평가산식에 대한 의견 감사드립니다.
본 대회 평가 산식은 계산의 효율성을 위해 작성해주신 내용의 아래 수식으로 NMAE로 정의하여 구현하였습니다.
그래서, 말씀하신 기존 NMAE 내용과 약간의 차이가 있을 수 있습니다.
전체 데이터에 대한 값이 아닌 개별 데이터에 대한 오차들을 평가했는데,
이런 경우 평가데이터의 특성에 따라 오류나 차이가 발생할 수 있다는 점 이해합니다.
다만, 평가데이터에 대한 저희 검증결과 생각하시는 문제는 발생하지 않습니다.
따라서, 아래 수식으로 진행된다는 점 이해 부탁드리겠습니다.
감사합니다.
데이콘 드림.
네 알겠습니다.
그러면 아래 수식으로 이해하고 진행하도록 하겠습니다.
감사합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
저도 참가 동의서 제출할 때 비슷한 질문을 했었는데요, 작성자님이 참고한 식에 따르면 'nMAE는 MAE를 mean(|y|)라는 constant로 나눈 값'이네요.
허나 mean(|y|)는 모델 피팅시에 변화하는 값이 아니기 때문에 결국 NMAE를 objective function으로 삼는게 MAE를 사용하는 것과 같은 결과가 나오지 않을까 싶습니다. I.e. mean(|y|)가 5라면 evaluation metric으로 MAE를 사용하는 것과 MAE/5를 사용하는 것은 같은 결과가 나올 것입니다.
저는 NMAE라는 평가 지표를 몰랐어서 작성자님이 올리신 공식만 보고 추측해서 댓글 남겨 봤습니다..!