Gas Supply Demand Forecast Competition

Algorithm | Structured| Regression | Demand forecasting | NMAE

  • moneyIcon Prize : 총 3,250만원
  • 475 Users Completed
Closed

 

평가 산식 관련 문의드립니다.

Anonymous
2021.11.04 17:37 1,520 Views

대회안내 > 규칙 > 1. 평가 의 평가 산식 코드가 잘못된 것 같아 질문드립니다.

제가 참고한 NMAE 수식도 함께 첨부합니다.

확인해주시면 감사하겠습니다.

Login Required
0 / 1000
Justin4AI
2021.11.04 22:33

저도 참가 동의서 제출할 때 비슷한 질문을 했었는데요, 작성자님이 참고한 식에 따르면 'nMAE는 MAE를 mean(|y|)라는 constant로 나눈 값'이네요.
허나 mean(|y|)는 모델 피팅시에 변화하는 값이 아니기 때문에 결국 NMAE를 objective function으로 삼는게 MAE를 사용하는 것과 같은 결과가 나오지 않을까 싶습니다. I.e. mean(|y|)가 5라면 evaluation metric으로 MAE를 사용하는 것과 MAE/5를 사용하는 것은 같은 결과가 나올 것입니다.

저는 NMAE라는 평가 지표를 몰랐어서 작성자님이 올리신 공식만 보고 추측해서 댓글 남겨 봤습니다..!

anonymous
Writer
2021.11.05 21:03

댓글 남겨주셔서 감사합니다!

DACONIO
2021.12.21 11:53

안녕하세요. 작성자님.

평가산식에 대한 의견 감사드립니다.

본 대회 평가 산식은 계산의 효율성을 위해 작성해주신 내용의 아래 수식으로  NMAE로 정의하여 구현하였습니다.
그래서, 말씀하신 기존 NMAE  내용과 약간의 차이가 있을 수 있습니다.

전체 데이터에 대한 값이 아닌 개별 데이터에 대한 오차들을 평가했는데,
이런 경우 평가데이터의 특성에 따라 오류나 차이가 발생할 수 있다는 점 이해합니다.

다만, 평가데이터에 대한 저희 검증결과 생각하시는 문제는 발생하지 않습니다.
따라서, 아래 수식으로 진행된다는 점 이해 부탁드리겠습니다.

감사합니다.
데이콘 드림.

anonymous
Writer
2021.11.05 21:05

네 알겠습니다. 
그러면 아래 수식으로 이해하고 진행하도록 하겠습니다.
감사합니다.