데이스쿨 할인 리턴-즈!
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
팔당댐 홍수 안전운영에 따른 한강 수위예측 AI 경진대회
[Dacon 답변 요청] 결측치 처리 및 데이터 전처리 Leakage
2015년의 데이터를 이용해서 2012년의 결측치를 채우는 것은 안되는건가요?
데이터 전처리 과정 중 스케일링을 할 때도 2013년 데이터를 스케일링한다면 2015년의 데이터의 통계량이 사용되어서는 안되는 건가요? (여러 데이터프레임을 합친 후 통계량을 구하면 Leakage)
단순히 미래 시점의 데이터를 사용하면 안된다고 한다면, t 시점이 결측치일 때, t-1시점 데이터와 t + 1시점의 데이터의 평균으로 채우는(interpolate) 것은 Leakage 라고 볼 수 있는 건가요?
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요 Jamm님,
t시점이 test data 구간에 존재하며, 결측치인 경우에는 t+1 시점의 데이터를 활용하실 수 없습니다. (t+1의 데이터는 미래시점의 데이터이므로 모른다고 가정합니다.)
다만, t시점이 train data 구간에 존재하며, 결측치인 경우에는 t+1 시점의 데이터를 활용하실 수 있습니다.(t+1의 데이터 역시 과거의 데이터로 정보를 알고는 있습니다.)
감사합니다.