서두르세요! "데이스쿨 40% 할인" 12월 2일까지!
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
공공데이터 활용 수력 댐 강우예측 AI 경진대회
다른분들이 학습할 때는 mae 얼마나 나오시나요?
2020.10.24 16:18
6,621
Views
다른분들이 학습할 때는 mae 얼마나 나오시나요?
대략적인 public 점수도 알려주시면 감사하겠습니다!
baseline 돌려보니깐 mae 3.0정도 나오는데
public은 0.77이라서요
CSI로 나눈다던데 CSI는 어떻게 알 수 있을까요?
로그인이 필요합니다
0 / 1000
최정명
2020.10.24 17:38
최정명
2020.10.24 17:40
PPT를 통해서 dBZ, Z, R, pixel 등을 통해서 pixel과 mm/hr 을 구해보았는데 뭔가 맞지 않는 느낌입니다 ㅠㅠ
식대로 구해보았을 땐 pixel 63이상이 0.1mm/h 인것 같은데 직접 한 번 구해보시면 될거예요.
닉네임
2020.10.24 17:42
감사합니다!
제로콜라맛있다
2020.10.26 11:39
저도 대략 62.4XX정도 이상이 0.1 mm/h로 나왔는데요 맞는지 잘모르겠네요
cydra
2020.10.28 12:21
저도 계산해보니 R값이 0.1일때 픽셀값이 대략 62.4xx라, 62면 0.1이하, 63이면 0.1이상 값이 될 것 같네요..
Team
2020.10.24 18:15
cv : 2.72xx 일때 lb : 0.53xx이 나오는데
cv : 2.70 까지 줄일때 lb : 0.55로 더 떨어지네요
train과 val mae는 거의 같습니다.
정확한 평가방법을 알수가 없으니 갈길을 잃은 느낌인데
lb에서 계산되는 평가방식을 공개해주시면 어떨까 생각해봅니다
Jamm
2020.10.24 18:59
저는 무슨 이유에서인지 val_mae 2.24정도 나왔었는데 점수는 약 0.54xxx 정도 나오기도 했었어요. 다른 모델 만들어서 제출했는데, 여전히 2.24점 비슷한데 LB에서는 0.51, 0.52, 0.53 다 나와봤네요.
정확한 산식이 처음부터 공개됐더라면 방향 잡기도 쉬웠을거같은데, 저도 거의 돌려놓고 기도메타 하는 수준이네요.
김웅곤
2020.10.24 21:47
MAE는 혹시 [6071,6304,7026,7629,7767,8944,11107] 이 지점으로 계산하신 건가요? ㅎㅎ
최정명
2020.10.24 22:33
저는 전체값에 대한 pixel MAE를 계산했습니다.
그래서 대회에서 평가되는 댐 위치 강수량 값과는 차이가 좀 있습니다.
김웅곤
2020.10.24 22:49
감사합니다~
STORM0
2020.10.25 18:14
저도 비슷하게 나옵니다.. LB 계산방식도 궁금한데 아리송합니다 ㅠㅠ
김웅곤
2020.10.26 01:25
val mae 2.83
lb : 0.58 정도 나옵니다.
처음해봐요
2020.10.26 13:24
메트릭이 MAE / CSI (MAE나누기 CSI) 가 맞나요? PPT에는 각각 가중치가 50%로 나와서요~ 흠.. 서로 다른 Metric에 가중치 50% 줘서 어떻게 더하는거에요?? 0~1로 변환해서 50% 주고 더하는건가요??
최정명
2020.10.26 14:10
지금 보니까 MAE / CSI 가 두 메트릭을 의미하는건지 MAE 나누기 CSI를 의미하는지 헷갈리네요.
PPT에는 가중치 50%라고만 되어 있어서 두 메트릭을 더한다는 의미 같기도하고... 그런데 더하기에는 전혀 다른 평가지표라 아닌 것 같기도 하고 많이 헷갈리네요. 이 부분 명확히 되었으면 좋겠네요.
처음해봐요
2020.10.26 16:42
그러게요 이 부분이 명확해지면 csi 적용한 loss를 쓰면 점수가 더 잘 나올 것 같은데..ㅠ
cydra
2020.10.26 20:18
삭제된 댓글입니다
List
이전 글
테스트 데이터셋 관련 질문드립니다.
Competition - 랜드마크 분류 AI 경진대회
Likes 12
Views 5,046
Comments 2
4년 전
현재 글
다른분들이 학습할 때는 mae 얼마나 나오시나요?
Competition - 공공데이터 활용 수력 댐 강우예측 AI 경진대회
Likes 11
Views 6,621
Comments 15
4년 전
다음 글
Image classification State of the Art 모델
Competition - 랜드마크 분류 AI 경진대회
Likes 13
Views 6,192
Comments 2
4년 전
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
validation(MAE) : 2.7xxxx 초중
publicLB(SCORE) : 0.515xxxx ~ 0.55xxxx
자세한 성능지표는 PPT를 통해서 MAE/CSI를 해보았는데 좀 차이가 크게 나는것 같네요...
MAE는 7개 지점에서(0.1mm/h 이상)
CSI는 (0.1mm/h 이상인 지역은 1, 나머지 0 ) 인것 같아요.