다른분들이 학습할 때는 mae 얼마나 나오시나요?

공공데이터 활용 수력 댐 강우예측 AI 경진대회

닉네임

2020.10.24 16:18 6,620 조회

다른분들이 학습할 때는 mae 얼마나 나오시나요?

대략적인 public 점수도 알려주시면 감사하겠습니다!

baseline 돌려보니깐 mae 3.0정도 나오는데

public은 0.77이라서요

CSI로 나눈다던데 CSI는 어떻게 알 수 있을까요?

댓글 16개

로그인이 필요합니다

comment

0 / 1000

최정명

2020.10.24 17:38

validation(MAE) : 2.7xxxx 초중
publicLB(SCORE) : 0.515xxxx ~ 0.55xxxx

자세한 성능지표는 PPT를 통해서 MAE/CSI를 해보았는데 좀 차이가 크게 나는것 같네요...
MAE는 7개 지점에서(0.1mm/h 이상)
CSI는 (0.1mm/h 이상인 지역은 1, 나머지 0 ) 인것 같아요.

최정명

2020.10.24 17:40

PPT를 통해서 dBZ, Z, R, pixel 등을 통해서 pixel과 mm/hr 을 구해보았는데 뭔가 맞지 않는 느낌입니다 ㅠㅠ

식대로 구해보았을 땐 pixel 63이상이 0.1mm/h 인것 같은데 직접 한 번 구해보시면 될거예요.

닉네임

2020.10.24 17:42

감사합니다!

제로콜라맛있다

2020.10.26 11:39

저도 대략 62.4XX정도 이상이 0.1 mm/h로 나왔는데요 맞는지 잘모르겠네요

cydra

2020.10.28 12:21

저도 계산해보니 R값이 0.1일때 픽셀값이 대략 62.4xx라, 62면 0.1이하, 63이면 0.1이상 값이 될 것 같네요..

Team

2020.10.24 18:15

cv : 2.72xx 일때 lb : 0.53xx이 나오는데
cv : 2.70 까지 줄일때 lb : 0.55로 더 떨어지네요
train과 val mae는 거의 같습니다.

정확한 평가방법을 알수가 없으니 갈길을 잃은 느낌인데
lb에서 계산되는 평가방식을 공개해주시면 어떨까 생각해봅니다

Jamm

2020.10.24 18:59

저는 무슨 이유에서인지 val_mae 2.24정도 나왔었는데 점수는 약 0.54xxx 정도 나오기도 했었어요. 다른 모델 만들어서 제출했는데, 여전히 2.24점 비슷한데 LB에서는 0.51, 0.52, 0.53 다 나와봤네요.

정확한 산식이 처음부터 공개됐더라면 방향 잡기도 쉬웠을거같은데, 저도 거의 돌려놓고 기도메타 하는 수준이네요.

김웅곤

2020.10.24 21:47

MAE는 혹시 [6071,6304,7026,7629,7767,8944,11107] 이 지점으로 계산하신 건가요? ㅎㅎ

최정명

2020.10.24 22:33

저는 전체값에 대한 pixel MAE를 계산했습니다.
그래서 대회에서 평가되는 댐 위치 강수량 값과는 차이가 좀 있습니다.

김웅곤

2020.10.24 22:49

감사합니다~

STORM0

2020.10.25 18:14

저도 비슷하게 나옵니다.. LB 계산방식도 궁금한데 아리송합니다 ㅠㅠ

김웅곤

2020.10.26 01:25

val mae 2.83
lb : 0.58 정도 나옵니다.

처음해봐요

2020.10.26 13:24

메트릭이 MAE / CSI (MAE나누기 CSI) 가 맞나요? PPT에는 각각 가중치가 50%로 나와서요~ 흠.. 서로 다른 Metric에 가중치 50% 줘서 어떻게 더하는거에요?? 0~1로 변환해서 50% 주고 더하는건가요??

최정명

2020.10.26 14:10

지금 보니까 MAE / CSI 가 두 메트릭을 의미하는건지 MAE 나누기 CSI를 의미하는지 헷갈리네요.

PPT에는 가중치 50%라고만 되어 있어서 두 메트릭을 더한다는 의미 같기도하고... 그런데 더하기에는 전혀 다른 평가지표라 아닌 것 같기도 하고 많이 헷갈리네요. 이 부분 명확히 되었으면 좋겠네요.

처음해봐요

2020.10.26 16:42

그러게요 이 부분이 명확해지면 csi 적용한 loss를 쓰면 점수가 더 잘 나올 것 같은데..ㅠ

cydra

2020.10.26 20:18

삭제된 댓글입니다

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!