다른분들이 학습할 때는 mae 얼마나 나오시나요?

#공공데이터 활용 수력 댐 강우예측 AI 경진대회
댓글 16

다른분들이 학습할 때는 mae 얼마나 나오시나요? 

대략적인 public 점수도 알려주시면 감사하겠습니다!


baseline 돌려보니깐 mae 3.0정도 나오는데

public은 0.77이라서요

CSI로 나눈다던데 CSI는 어떻게 알 수 있을까요?


댓글 16개
  • 최정명 최정명 2020.10.24 17:38
    validation(MAE) : 2.7xxxx 초중
    publicLB(SCORE) :  0.515xxxx ~ 0.55xxxx  
    
    자세한 성능지표는 PPT를 통해서 MAE/CSI를 해보았는데 좀 차이가 크게 나는것 같네요...
    MAE는 7개 지점에서(0.1mm/h 이상)
    CSI는 (0.1mm/h 이상인 지역은 1, 나머지 0 ) 인것 같아요.
    • 최정명 최정명 2020.10.24 17:40
      PPT를 통해서  dBZ, Z, R, pixel 등을 통해서 pixel과 mm/hr 을 구해보았는데 뭔가 맞지 않는 느낌입니다 ㅠㅠ 
      
      식대로 구해보았을 땐 pixel 63이상이 0.1mm/h 인것 같은데 직접 한 번 구해보시면 될거예요.
    • 닉네임 닉네임 2020.10.24 17:42
      감사합니다!
    • 제로콜라맛있다 제로콜라맛있다 2020.10.26 11:39
      저도 대략 62.4XX정도 이상이 0.1 mm/h로 나왔는데요 맞는지 잘모르겠네요
    • cydra cydra 2020.10.28 12:21
      저도 계산해보니 R값이 0.1일때 픽셀값이 대략 62.4xx라, 62면 0.1이하, 63이면 0.1이상 값이 될 것 같네요..
  • 이광한 이광한 2020.10.24 18:15
    cv : 2.72xx 일때 lb : 0.53xx이 나오는데
    cv : 2.70 까지 줄일때 lb : 0.55로 더 떨어지네요
    train과 val mae는 거의 같습니다.
    
    정확한 평가방법을 알수가 없으니 갈길을 잃은 느낌인데
    lb에서 계산되는 평가방식을 공개해주시면 어떨까 생각해봅니다
  • Jamm Jamm 2020.10.24 18:59
    저는 무슨 이유에서인지 val_mae 2.24정도 나왔었는데 점수는 약 0.54xxx 정도 나오기도 했었어요. 다른 모델 만들어서 제출했는데, 여전히 2.24점 비슷한데 LB에서는 0.51, 0.52, 0.53 다 나와봤네요. 
    
    정확한 산식이 처음부터 공개됐더라면 방향 잡기도 쉬웠을거같은데, 저도 거의 돌려놓고 기도메타 하는 수준이네요.
  • 통계왕 통계왕 2020.10.24 21:47
    MAE는 혹시 [6071,6304,7026,7629,7767,8944,11107] 이 지점으로 계산하신 건가요? ㅎㅎ
    
    • 최정명 최정명 2020.10.24 22:33
      저는 전체값에 대한 pixel MAE를 계산했습니다.
      그래서 대회에서 평가되는 댐 위치 강수량 값과는 차이가 좀 있습니다.
    • 통계왕 통계왕 2020.10.24 22:49
      감사합니다~
  • rain_maker rain_maker 2020.10.25 18:14
    저도 비슷하게 나옵니다.. LB 계산방식도 궁금한데 아리송합니다 ㅠㅠ
  • 통계왕 통계왕 2020.10.26 01:25
    val mae 2.83
    lb : 0.58 정도 나옵니다.
  • 처음해봐요 처음해봐요 2020.10.26 13:24
    메트릭이 MAE / CSI (MAE나누기 CSI) 가 맞나요? PPT에는 각각 가중치가 50%로 나와서요~ 흠.. 서로 다른 Metric에 가중치 50% 줘서 어떻게 더하는거에요?? 0~1로 변환해서 50% 주고 더하는건가요??
    • 최정명 최정명 2020.10.26 14:10
      지금 보니까 MAE / CSI 가 두 메트릭을 의미하는건지 MAE 나누기 CSI를 의미하는지 헷갈리네요.
      
      PPT에는 가중치 50%라고만 되어 있어서 두 메트릭을 더한다는 의미 같기도하고... 그런데 더하기에는 전혀 다른 평가지표라 아닌 것 같기도 하고 많이 헷갈리네요. 이 부분 명확히 되었으면 좋겠네요.
    • 처음해봐요 처음해봐요 2020.10.26 16:42
      그러게요 이 부분이 명확해지면 csi 적용한 loss를 쓰면 점수가 더 잘 나올 것 같은데..ㅠ
  • cydra cydra 2020.10.26 20:18
    삭제된 댓글입니다
로그인이 필요합니다로그인이 필요합니다
목록으로