DACON
search 구독 안내
noti 0

    MY XP

    XP 안내

    LEVEL 1

    다음 레벨까지 150 XP

    0/150 XP

    오늘의 XP

    0 / 800

    전체 XP

    0

    적립 XP

    0

    사용 XP

    0
    dacon logo

    Sign in with your SNS accounts

    google Sign in with Google facebook Sign in with Facebook
    Don't have an account? Sign Up
    Verify your email

    To sign up, you must verify your email. Do you want to resend the code?
    [Dacon] sign up verification

    Your email must be verified to complete the sign up process. Please verify your email below to complete.

    이용약관

    Privacy policy

    Consent to receive marketing information

    공공데이터 활용 수력 댐 강우예측 AI 경진대회

    다른분들이 학습할 때는 mae 얼마나 나오시나요?

    닉네임
    2020.10.24 16:18 6,661 Views
    comments 16

    다른분들이 학습할 때는 mae 얼마나 나오시나요? 

    대략적인 public 점수도 알려주시면 감사하겠습니다!


    baseline 돌려보니깐 mae 3.0정도 나오는데

    public은 0.77이라서요

    CSI로 나눈다던데 CSI는 어떻게 알 수 있을까요?


    Comments 16개
    로그인이 필요합니다
    0 / 1000
    최정명
    2020.10.24 17:38

    validation(MAE) : 2.7xxxx 초중
    publicLB(SCORE) :  0.515xxxx ~ 0.55xxxx  

    자세한 성능지표는 PPT를 통해서 MAE/CSI를 해보았는데 좀 차이가 크게 나는것 같네요...
    MAE는 7개 지점에서(0.1mm/h 이상)
    CSI는 (0.1mm/h 이상인 지역은 1, 나머지 0 ) 인것 같아요.

    최정명
    2020.10.24 17:40

    PPT를 통해서  dBZ, Z, R, pixel 등을 통해서 pixel과 mm/hr 을 구해보았는데 뭔가 맞지 않는 느낌입니다 ㅠㅠ 

    식대로 구해보았을 땐 pixel 63이상이 0.1mm/h 인것 같은데 직접 한 번 구해보시면 될거예요.

    닉네임
    2020.10.24 17:42

    감사합니다!

    제로콜라맛있다
    2020.10.26 11:39

    저도 대략 62.4XX정도 이상이 0.1 mm/h로 나왔는데요 맞는지 잘모르겠네요

    cydra
    2020.10.28 12:21

    저도 계산해보니 R값이 0.1일때 픽셀값이 대략 62.4xx라, 62면 0.1이하, 63이면 0.1이상 값이 될 것 같네요..

    Team
    2020.10.24 18:15

    cv : 2.72xx 일때 lb : 0.53xx이 나오는데
    cv : 2.70 까지 줄일때 lb : 0.55로 더 떨어지네요
    train과 val mae는 거의 같습니다.

    정확한 평가방법을 알수가 없으니 갈길을 잃은 느낌인데
    lb에서 계산되는 평가방식을 공개해주시면 어떨까 생각해봅니다

    Jamm
    2020.10.24 18:59

    저는 무슨 이유에서인지 val_mae 2.24정도 나왔었는데 점수는 약 0.54xxx 정도 나오기도 했었어요. 다른 모델 만들어서 제출했는데, 여전히 2.24점 비슷한데 LB에서는 0.51, 0.52, 0.53 다 나와봤네요. 

    정확한 산식이 처음부터 공개됐더라면 방향 잡기도 쉬웠을거같은데, 저도 거의 돌려놓고 기도메타 하는 수준이네요.

    김웅곤
    2020.10.24 21:47

    MAE는 혹시 [6071,6304,7026,7629,7767,8944,11107] 이 지점으로 계산하신 건가요? ㅎㅎ

    최정명
    2020.10.24 22:33

    저는 전체값에 대한 pixel MAE를 계산했습니다.
    그래서 대회에서 평가되는 댐 위치 강수량 값과는 차이가 좀 있습니다.

    김웅곤
    2020.10.24 22:49

    감사합니다~

    STORM0
    2020.10.25 18:14

    저도 비슷하게 나옵니다.. LB 계산방식도 궁금한데 아리송합니다 ㅠㅠ

    김웅곤
    2020.10.26 01:25

    val mae 2.83
    lb : 0.58 정도 나옵니다.

    처음해봐요
    2020.10.26 13:24

    메트릭이 MAE / CSI (MAE나누기 CSI) 가 맞나요? PPT에는 각각 가중치가 50%로 나와서요~ 흠.. 서로 다른 Metric에 가중치 50% 줘서 어떻게 더하는거에요?? 0~1로 변환해서 50% 주고 더하는건가요??

    최정명
    2020.10.26 14:10

    지금 보니까 MAE / CSI 가 두 메트릭을 의미하는건지 MAE 나누기 CSI를 의미하는지 헷갈리네요.

    PPT에는 가중치 50%라고만 되어 있어서 두 메트릭을 더한다는 의미 같기도하고... 그런데 더하기에는 전혀 다른 평가지표라 아닌 것 같기도 하고 많이 헷갈리네요. 이 부분 명확히 되었으면 좋겠네요.

    처음해봐요
    2020.10.26 16:42

    그러게요 이 부분이 명확해지면 csi 적용한 loss를 쓰면 점수가 더 잘 나올 것 같은데..ㅠ

    cydra
    2020.10.26 20:18

    삭제된 댓글입니다

    📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!
    to_list List
    이전 글
    테스트 데이터셋 관련 질문드립니다.
    Competition - 랜드마크 분류 AI 경진대회
    Likes 12
    Views 5,076
    Comments 2
    4년 전
    현재 글
    다른분들이 학습할 때는 mae 얼마나 나오시나요?
    Competition - 공공데이터 활용 수력 댐 강우예측 AI 경진대회
    Likes 11
    Views 6,661
    Comments 15
    4년 전
    다음 글
    Image classification State of the Art 모델
    Competition - 랜드마크 분류 AI 경진대회
    Likes 13
    Views 6,243
    Comments 2
    4년 전