안녕하세요 !🤗 데이크루 1기 입니다!

• 데이콘 대회에 참여하면서 여러 평가산식들을 접할 수 있었는데요,  
• 대회마다 다른 평가산식으로 score가 계산되기 때문에
• 각각의 평가산식들의 차이점은 무엇인지, 왜 그런 평가산식을 사용했는지 늘 궁금했습니다!
• 그래서 먼저, 회귀모델의 평가산식에 대해 정리해보고자 합니다.

-------------------------------------------------------

✔️1. MAE (Mean Absolute Error)

• MAE는 예측값과 실제값간의 차이에 절대값을 취하고 이를 평균을 낸 지표입니다.  따라서 작을 수록 잘 예측한 것입니다.

MAE의 특징✏️

• 직관적이고 예측변수와 같은 단위를 사용한다.
• MSE에 비해 이상치에 덜 민감하다
• 절대값을 취하기 때문에 실제보다 낮은 값인지 큰 값인지 알 수 없다.

Dacon에서 열린 🔗주차수요 예측 AI경진대회의 경우 MAE를 평가산식으로 하였는데요,  

총세대수, 지역, 전용면적 등을 이용해 target인 등록차량수를 예측하는 경진대회였습니다.

즉, 회귀 예측 값이 등록차량수 였기 때문에 등록차량수가 평균적으로 얼마정도 차이가 나고,

이를 반영하면 좋을지 직관적으로 판단하기 위해 MAE를 평가산식으로 사용한 것이라고 추측할 수 있습니다!

✔️2. NMAE (Normalized Mean Absolute Error)

• NMAE는 데이콘 대회에서 🔗'시계열'키워드의 대회에 많이 보이는 평가산식인데요, MAE와 같이 값이 작을수록 잘 예측한 것입니다.

NMAE의 특징✏️

• NMAE는 scale이 다른 데이터셋의 MAE 비교에 용이합니다. 정규화된 MAE이기 때문에 편향되지 않아 과소평가와 과대평가 모두에 대해 유사한 해석을 제공합니다.

Dacon에서 열린 🔗동서발전 태양광 발전량 예측 AI 경진대회 역시, 시계열키워드의 평가산식이 MAE인 대회였는데요,

NMAE는 편차를 정규화하므로 미래의 발전량 비교에 유리하여 NMAE를 평가산식으로 사용한 것 같습니다!

*NMAE의 경우 평가산식에 대한 정보가 적어 제 추측이 틀렸을 수 있습니다 😥 NMAE에 대해 잘 아시는 분들은 댓글로 달아주시면 좋겠습니다!

✔️3. RMSE (Root Mean Square Error)

• MSE 값은 오류의 제곱을 구하기 때문에 실제 오류 평균보다 더 커지는 특성이 있어 루트를 씌운 것이 RMSE 입니다.
• RMSE 역시 작을 수록 잘 예측한 것입니다.

RMSE의 특징✏️

• RMSE(평균 제곱근 오차)는 MAE에 비해 직관성은 떨어지지만, 큰 값이 계산 전체에 지나친 영향을 미치지 못하게 제어한다는 장점이 있습니다.
• RMSE는 일반적으로 기후학, 예측 및 회귀분석에서 다양하게 쓰이며, 실험결과를 검증하는 것에 사용됩니다.

실제로 평가산식이 RMSE인 대회의 경우,

🔗생육기간 예측 경진대회, 🔗NH 투자증권 빅데이터 경진대회(주식 보유기간 예측), 🔗펭귄 몸무게 예측 경진대회 등

상당히 다양한 주제의 대회에 평가산식으로 쓰였음을 알 수 있습니다!

✔️3. MAPE (Mean absolute percentage error) / SMAPE(Symmetric Mean Absolute Percentage Error)

• MAPE는 퍼센트(percentage)값을 가지며 0에 가까울수록 회귀 모형의 성능이 좋다고 해석할 수 있습니다.

MAPE의 특징✏️

• MAPE는 크기 의존적 에러의 단점을 커버하기 위한 모델로, 0~100% 사이의 값을 지녀 이해하기 쉽습니다.
• 실제값이 0이거나 작은 경우 MAPE 값이 지나치게 커지는 문제가 있습니다.
• ➡️ 데이콘에서는 이를 개선한 SMAPE를 대회의 평가산식으로 사용했습니다

🔗전력사용량 예측 AI 경진대회, 🔗꿈꾸는 아이(AI) 전력 수요량 예측 경진대회 등

*찾아보니 SMAPE는 모두 전력수요량 예측 경진대회에서 사용됐네요 🤔 이유가 뭘까요 ?

SMAPE(Symmetric Mean Absolute Percentage Error)의 특징✏️

• 기존 MAPE의 단점을 해결하여 하한 0%와 상한 200%로 표현됩니다.
• MAPE 역시 0에 가까울수록 회귀 모형의 성능이 좋다고 해석할 수 있습니다.
• 하지만 여전히 참값과 예측값이 0에 가까울 때 불안정하고, 0일때 값이 자동으로 상한에 맞춰질 수 있다는 단점이 있습니다.

-------------------------------------------------------

• 평가산식에 대해 나름대로 정리해보았는데요! 이외에도 많은 평가산식이 있습니다. ( RMSLE, R2 등)
• 다음 게시물에서는 분류 모델 평가 지표에 대해 정리해보고자 합니다 :)
• 읽어주셔서 감사합니다! 🤗

   *본 포스팅은 데이콘 서포터즈 “데이크루" 1기 활동의 일환입니다. ✔️