Anomaly detection + classification 문제 Metric 고민

토폴로지

팔로워 3 팔로잉 0
  • 2021.03.29 16:23
  • 315 조회

Anomaly detection + classification 문제에 대한 metric에 대해서 고민을 하고 있습니다

일단 데이터의 정상(0) & 비정상(1~5)을 분류한 다음에 비정상 데이터의 class를 분류하는 문제를 정의하고 있는데요

정상 비정상을 구분 성능과, 비정상으로 분류된 데이터의 클래스 예측 정도를 동시에 고려하고 싶습니다.

단순한 분류문제(0~5)가 아니라 비정상 클래스 분류(1~5)가 틀리더라도 일단 비정상으로 분류하면 어느정도 성능점수를 주고 싶은데(예를 들어 정답이 3이지만 5라고 예측해도 부분점수?) 이런 경우에는 어떻게 평가 Metric을 만들면 좋을까요? (두 평가척도의 단순한 weighted sum 이나 곱이 아니라 뭔가 더 좋은 metric이 있는지 궁금합니다.)



  • Weighted Auroc 가능하지 않을지: https://rdrr.io/cran/WeightedROC/f/inst/doc/Definition.pdf
  • hierarchical classification 개념 도입?
11
댓글 3개
  • 데이콘_마당쇠
    데이콘_마당쇠
    2021.03.29 16:25

    ** 박사님 hierachical performance 를 측정하는 방법들도 있네요? 

    https://towardsdatascience.com/hierarchical-performance-metrics-and-where-to-find-them-7090aaa07183

  • 데이콘_마당쇠
    데이콘_마당쇠
    2021.03.29 16:25

    https://rdrr.io/cran/WeightedROC/f/inst/doc/Definition.pdf

  • 토폴로지
    토폴로지
    2021.03.29 21:07

    ㅎㅎ 뭔가 실제로 도움이 되는 쌈박한 Metric 설계가 필요할 것 같습니다. ㅎㅎ