Anomaly detection + classification 문제에 대한 metric에 대해서 고민을 하고 있습니다

일단 데이터의 정상(0) & 비정상(1~5)을 분류한 다음에 비정상 데이터의 class를 분류하는 문제를 정의하고 있는데요

정상 비정상을 구분 성능과, 비정상으로 분류된 데이터의 클래스 예측 정도를 동시에 고려하고 싶습니다.

단순한 분류문제(0~5)가 아니라 비정상 클래스 분류(1~5)가 틀리더라도 일단 비정상으로 분류하면 어느정도 성능점수를 주고 싶은데(예를 들어 정답이 3이지만 5라고 예측해도 부분점수?) 이런 경우에는 어떻게 평가 Metric을 만들면 좋을까요? (두 평가척도의 단순한 weighted sum 이나 곱이 아니라 뭔가 더 좋은 metric이 있는지 궁금합니다.)

• Weighted Auroc 가능하지 않을지: https://rdrr.io/cran/WeightedROC/f/inst/doc/Definition.pdf
• hierarchical classification 개념 도입?