평가지표 계산

팔당댐 홍수 안전운영에 따른 한강 수위예측 AI 경진대회

평가지표 계산

비회원

2022.09.21 09:58 2,372 Views

대회도 끝났고, test 기간데이터로 혼자 공부중인데요,

def calc_score(origin,pred):

rmse=mean_squared_error(origin,pred,squared=False)

r2=r2_score(origin,pred)

score=rmse/r2

return score

이렇게 평가식을 rmse/r squared로 짜서 따로 데이콘에 올리지않고, 점수를 계산하고 있는데 실제로 올리면

엄청나게 차이가나네요.. 혹시 제 코드가 틀린걸까요?..

Comments 4개

로그인이 필요합니다

comment

0 / 1000

Zeus

2022.09.21 15:58

rmse는 mse에서 root를 씌운거에요

비회원

2022.09.21 23:01

squared=False 옵션을 설정하면, rmse로 계산되는것으로 알고있는데 아닌가요??

the2ndlaw

2022.09.21 19:02

대회 진행하면서 score에 대하여 알아본 점이 있는데 혹시나 도움이 되실까 싶어 댓글을 남겨봅니다.
1.private와 public score는 test set에서 무작위로 추출한 시점을 기준으로 하기 때문에, 실제 사용한 시점이 언젠지 정확히 알지 않는 한 전체 test set에서 직접 구하신 score와 차이가 존재할 수 있습니다.
2.총 score 계산 시 각 대교들의 score의 평균들이기 때문에 만약, 전체 예측치를 구하고 그 배열에 대해서 score를 구할 시 각 대교의 score를 평균한 값과 차이점이 존재할 수 있습니다.

비회원

2022.09.21 23:03

아하 무작위시점이라 그런거였네요 ㅠㅠ 감사합니다 점수가 달라서 잘못계산했나 싶엇습니다 감사합니다!

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

List

이번 대회에 참고할 만한 이전 DACON 대회

Competition - AI 양재 허브 인공지능 오픈소스 경진대회

현재 글