버스 운행시간 예측 AI 경진대회

데이터 셋을 확인했는데 next_arrive_time에 일반적이지 않게 큰 값이 있는 것을 확인했습니다. ...

2019.11.14 17:47 3,935 Views

데이터 셋을 확인했는데 next_arrive_time에 일반적이지 않게 큰 값이 있는 것을 확인했습니다.

 

이렇게 큰 값이 있을 때 RMSE를 Metric으로 사용하게 되면 큰 값을 상대오차 10%로만 틀려도 다른 작은 값을 완전히 틀리때와 비교했을 때 매우 큰 오차가 발생합니다.

 

이는 대회의 취지와 벗어난다고 생각해서 연락드립니다.

 

혹시 다른 Metric을 사용하실 생각은 없으신가요? e.g) MSLE

로그인이 필요합니다
0 / 1000
송근구ㅡㄴ
2022.02.14 16:20

안녕하세요, JunhoSun님

train data에서의 next_arrive_time에서의 큰 값의 경우, 버스가 종점에 진입하는 경우 간혹 발생하는 오류로 확인이 되어있습니다.

이러한 값들이 존재하지만, 이를 처리 하는 것은 참가자분들의 몫임을 알려드립니다.

 

또한 지표인 RMSE에 대해서 좋은 의견을 내주셔서 정말로 감사드립니다만, 해당 지표를 선정하는 것은 저희 데이콘의 몫이며

충분한 내부 논의 끝에 해당 지표를 선정하였기 때문에, 해당 건의 사항은 이후 다른 대회들을 개최할 때, 참고할 만한 이야기로 정말 감사히 쓸 수 있을 것으로 보입니다.

하지만 현재 진행중인 대회에서는 RMSE를 그대로 사용할 예정임을 알려드립니다.