[신규 오픈 기념] 데이스쿨 최대 40% 할인 🎁
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Data leakage?
왜 test 데이터 안에서 test 통계값(최빈값,평균 등)으로 null값을 처리하는 것이 data leakage 문제가 되는거죠..?
그러면 test데이터에서 추가적인 변수를 생성할때도 train 데이터를 기준으로 만들어야되는 건가요?
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
안녕하세요.
test 데이터 각 단지는 독립적인 단지들입니다.
train 데이터를 이용해 만든 결과를 새로운 단지 설계에 활용하였을 때
경진대회와 달리 다른 test 데이터가 없기에 사용 할 수 없는 방법입니다.
test 데이터들의 통계치를 이용한다는 것은 추론 시점에 획득 불가능한 데이터 사용에 해당하여 data leakage가 됩니다.
감사합니다.