데이크루 4기

안녕하세요! 먼저, 팀 한남더힐의 PBL를 읽어주셔서 감사합니다.
본래 '기계학습에서 train data로 학습을 한다.'는 행위는 train data와 '비슷한 상황'에서 적절한 예측이나 판단을 하기 위해서 입니다.
경진대회 평가를 위해서 '비슷한 상황'을 만들어낸 것이 test data를 이용한 평가 단계입니다.
따라서 본래에  test data는 데이터의 값이나, 분포, 변수 정보 등을 알 수 없는 것이 당연합니다.
이런 제약 때문에, 경진대회에서는 미래에 예측해야 할 데이터의 정보를 이용해 학습하는 'data leakage'를 규칙 위반으로 설정해 심사하고 있습니다.

질문자님께서  든 예시는 수치형 데이터의 분포를 사용해 데이터를 scale하거나 train data에 없는 범주형 데이터가 test data에 존재할 경우,
 test 데이터의 분포나 정보를 사용한 것이 되기 때문에 data leakage에 해당할 것 같습니다.

충분한 답변이 되셨길 바라며, 부족한 답변이나 잘못된 의견에 대해서 많은 분들의 수정과 추가 답변 감사히 받겠습니다.

답변 너무 감사합니다. 또 하나 배웠네요 감사합니다!