Gas Supply Demand Forecast Competition

안녕하세요! 대회 평가 산식 관련하여 문의드립니다.

현재 데이콘에서 제공하는 수식의 경우 공급량이 큰 경우는 예측이 틀리더라도 공급량으로 나눠주기 때문에 오차가 줄어들고, 공급량이 작은 경우에 조금이라도 오차가 있으면 상대적으로 큰 영향을 줄 것이라 생각됩니다.

그래서 validation set의 범위를 다르게 하여 실험을 해보았습니다.

1) valid_y의 범위를 제한하지 않은 경우

2) valid_y의 범위를 제한한 경우 (10 이하의 값은 제거)

1) 의 경우에는 2)에 비해서 공급량이 작은 경우가 더 많이 포함되어 상대적으로 큰 영향을 많이 주어 NMAE(Dacon’s NMAE)의 값이 크게 나타났습니다.

반면 기존 수식을 참고하여 구현한 NMAE(My NMAE)의 경우 차이가 크지 않습니다.

또한 현재 데이콘의 수식은 NMAE가 아니라 MAPE에 가깝다고 생각합니다.

번거로우시겠지만 평가 지표 관련하여 다시 한 번 확인해주시면 감사하겠습니다!