제주도 도로 교통량 예측 AI 경진대회

안녕하세요, 룬성님! 시상식 참가 여비는 지급될 예정입니다. 감사합니다.

안녕하세요. K-로켓단님
one-hot encoding 혹은 pd.get_dummies()를 사용하는 것은 Data leakage에 해당됩니다. 베이스라인 코드에서  label encoding은 train dataset으로 fit 했기에 Data leakage에 해당하지 않습니다.  또한 외부 데이터는 어디에 붙이던 상관은 없지만 test dataset에 해당하는 기간에 대한 데이터는 사용 불가합니다.

감사합니다.

근데 요일의 경우 과거, 현재, 미래에 항상 7개만 존재하잖아요. 때문에 미래를 뜻하는 test 데이터셋에도 요일을 더미화하는 건 괜찮다고 생각하는데, 그래도 여전히 엄격하게 안 된다는 말씀이시죠?

 test dataset에 모든 요일이 포함되어 있다는 test dataset의 정보를 알고 있다는 것이기에 Data leakage에 해당하며,  test dataset에는 월-일이 모두 존재하지 않을 수 있습니다. 따라서 규칙에 준수하여 대회를 진행해주시면 됩니다. 

감사합니다. 

안녕하세요, Zeus님! 시상식 참가 여비는 팀장에게만 지급되며, 팀원의 여비는 지급되지 않습니다.

안녕하세요 samkim님.
주최측의 데이터 수집과정 오류로 본 경진대회에서 "도로사용여부" 변수는 제외됨을 알려드립니다. 

추가적인 사항은 다음 링크에서 참고해 주시기 바랍니다.
https://dacon.io/competitions/official/235985/talkboard/407092?page=1&dtype=recent

감사합니다.

Train의 통계량을 활용하는 것은 data leakage에 해당하지 않습니다. 

추가적으로 data leakage 해당 사항은 아래와 같습니다. 
-pd.get_dummies() 함수를 test 데이터 셋 사용
-label encoding, one-hot encoding 시 test 데이터 셋 활용
-data scaling 적용 시 test 데이터 셋 활용
-test 데이터 셋의 결측치 처리 시 test 데이터 셋의 통계 값 활용
-test 데이터 셋이 모델 학습에 활용
-예시 이외에 평가 데이터셋(Test Dataset)의 Row의 개수 혹은 Index (그 밖의 Test Dataset에 대한 정보)를 활용하는 경우는 Data Leakage에 해당됩니다.
* 일반적으로 Test Dataset은 '아예 볼 수 없다' 라고 가정하고 진행해야하며 코드 역시 이를 반영해야합니다. * 

month를 추출 과정에서 다른 row의 영향을 주지 않는다면 data leakage에 해당하지 않습니다. 

파생변수를 만드는 과정에서 해당 row의 정보만을 활용하고, 다른 row의 정보를 활용하는 것이 아니라면 data leakage에 해당하지 않습니다. 

pycaret을 규칙에 맞게 사용하는 것은 data leakage에 해당하지 않습니다. 

예를 들어 pycaret에 있는 catboost 내에서 one hot encoding을 해주는 절차가 있다고 알고 있는데 이건 data leakage에 해당 안된다는 말씀이신가요?

안녕하세요  jhhhh0님.

모델 내에서 이루어지는 처리는 data leakage에 해당하지 않습니다. 

감사합니다.

감사합니다~~

안녕하세요 주식하는대학생님.
주최측의 데이터 수집과정 오류로 본 경진대회에서 "도로사용여부" 변수는 제외됨을 알려드립니다. 

추가적인 사항은 다음 링크에서 참고해 주시기 바랍니다.
https://dacon.io/competitions/official/235985/talkboard/407092?page=1&dtype=recent

감사합니다.

위 1, 2번에 대해서는 해당 row의 정보만을 활용하고, 다른 row의 정보를 활용하는 것이 아니라면 data leakage에 해당하지 않습니다. 또한 pd.get_dummies를 이용한 인코딩은 data leakage에 해당합니다. 

해당 로우의 정보만을 활용한다는 것이 이해가 잘 가지 않는데
훈련 데이터에서 특정 열(범주형)을 기준으로 그룹화하여 다른 열(숫자형)의 값을 평균으로 낸 것을 데이터 프레임으로 따로 만든 뒤
이 데이터 프레임을 테스트 데이터에 레프트 조인(기준은 훈련 데이터에서 그룹화 기준이 된 변수) 하는 것은 괜찮을까요?

처음의 답변 내용은 각각 독립적인 1개의 row(행)의 데이터에 대해서 파생 변수를 생성하는 방법은 Train/Test 모두 가능하다는 설명입니다.
말씀해주신 내용의 방법은 Train Dataset의 정보만 활용한 추가 Feature를 생성하여 Test Dataset에 붙이는 형식으로 이해되는데, 해당 방법은 가능합니다. (Test Dataset의 통계 정보가 아닌 Train Dataset의 통계 정보만을 활용하기 때문)
감사합니다.

안녕하세요. MMANDOOO님
test dataset의 '회전제한 여부' 변수를 replace 함수를 통해 전처리하는 것은 data leakage에 해당합니다.
test datset의 '회전제한 여부' 변수의 입력값이 (있다, 없다)만 존재한다는 것은 알 수 없는 정보입니다. 

train dataset에서는 있다, 없다 두 가지만 있더라도, test dataset에서는 그 이외에 입력값이 있을 지 없을 지는 모르는 정보입니다. 

감사합니다.   

그럼 훈련 데이터에서 추출한 데이터 프레임을 테스트 데이터에서 같은 열을 기준으로 병합하는 것은 data leakage에 해당할까요?
train데이터에 존재하는 열이 test데이터에도 존재한다는 것은 알 수 없고, 
아니면 병합의 기준 열이 되는 열의 범주값들이 test데이터에 존재한다는 것은 알 수 없는 정보이므로 data leakage에 해당하는 것인가요..ㅜㅜ?

예외 처리 없이 같은 열을 기준으로 병합하는 것은 train과 test의 입력값이 같다고 가정하는 것이기에 data leakage에 해당합니다.

0. 예외처리라 함은 그러면 같은 열을 기준으로 병합하였을때, 해당 열의 특정 값이  train에는 있고 test에는 없을 경우 이 로 인해 생긴 결측치를 따로 처리한다면 괜찮다는 것일까요...?
1. 아님 테스트 데이터 내에서만 특정 변수의 범주별 집계를 통해 새로운 변수를 추가하는 것은 괜찮을까요?
2. 훈련데이터와 테스트 데이터의 독립변수들이 동일한지도 모르는 것인가요.?(예를들어 훈련데이터에 '날짜'컬럼이 있더라도 테스트 데이터에 동일한 '날짜'컬럼 자체가 존재하는지는 모른다..)

3. 그리고 테스트 데이터의 a컬럼과 b컬럼을 더한 새로운 c컬럼을 생성하는 것도 가능한지 여쭤봅니다ㅜㅜ
4. train데이터에서 fit한 encoder를 가지고 test 데이터에 transform만 하는 것은 가능한가요..?

먼저 test dataset의 변수는 알 수 있습니다. 

두번째로 test 데이터 내에서 특정 변수의 범주별 집계를 통해 새로운 변수를 추가하는 것은 test 데이터의 통계량을 사용하는 것이기에 data leakage에 해당합니다.
 
마지막으로 한 행에 대해서 a컬럼과 b컬럼을 더해 c컬럼을 생성하는 것은 가능합니다. 예를 들어, 1번째 인덱스의 a컬럼과 b컬럼을 더해 c컬럼을 생성하는 것은 가능하나 특정 인덱스의 컬럼과 다른 인덱스의 컬럼을 매칭하는 것은 data leakage에 해당합니다. 

삭제된 댓글입니다

예를 들어, test 데이터의 첫번째 데이터의 컬럼과 두번째 데이터의 컬럼을 사칙연산 , 집계 혹은 다른 특정 방법으로 매칭하여 파생변수를 생성하는 것에 대한 얘기입니다. 또한 이 사례는 data leakage에 해당합니다. 

안녕하세요 해시공님.

2022년 8월 이전의 공공 데이터의 정보를 그대로 적용하는 것이라면, data leakage에 해당하지 않습니다. 

감사합니다.

그리고 혹시, 위에도 data leakage에 대한 답글을 계속 달아주고 계셔서 죄송하지만, 
(1) 제가 공공 데이터를 Test set에 추가해야 할 때 해당 날짜에 맞는 인덱스에 추가를 해줘야 하는데, Testset에 해당 날짜에 맞는 값에 맞게 공공데이터를 추가해줘야 한다면 Test Leakage에 해당하는건가요?
(2) 만약 위/경도 간의 거리를 계산한 값을 새로운 컬럼으로 추가해줘야 한다면 Test 셋에서도  동일하게 계산하여 추가해주어야 하는데 이때도 data leakage에 해당하는건가요? 거리 계산 값은 동일한 row에서 계산한 것입니다.

 해시공님.  

Test dataset에 해당 날짜에 맞는 값에 맞게 공공데이터를 추가해주는 방법에 따라 다르겠지만 test dataset의 특정 날짜를 활용하는 것은 data leakage에 해당되며 test dataset의 개수를 인지한 상태에서 추가하는 것도 data leakage에 해당합니다. 

또한 단순한 연산으로 거리를 계산하는 것이라면 data leakage에 해당하지 않습니다. 

감사합니다. 

안녕하세요 Suno님
 
본 경진대회는 연습이 가능한 대회입니다. 또한 test set 정답은 공개되지 않습니다. 

감사합니다. 

안녕하세요 강가님.

작일 주최측의 데이터 오류로 재배포 과정에서 data_info 파일이 달라진 것 같습니다. 
다시 data_info 파일만 다시 수정했습니다.

감사합니다. 

안녕하세요 콜라님.

1. test dataset보다 이전 시점에 공시가 되어있는 정보를 활용하는 것은 data leakage에 해당하지 않습니다. 
2. 어떤 방법을 사용하느냐에 따라 다르지만 test dataset의 회전제한 여부에 대한 입력값을 모른다는 전제로 전처리한다면 data leakage에 해당하지 않습니다. 

감사합니다.

안녕하세요 Datahj님.

모델 구동 시간에 대한 제한은 없습니다.

감사합니다. 

안녕하세요 pumn님

날짜를 활용함에 있어서 test dataset의 시점 이전에도 알 수 있는 정보라면, data leakage에 해당하지 않습니다. 
즉, 휴일과 연휴는 미래 시점 이전에도 알 수 있기에 사용 가능합니다.

감사합니다.

안녕하세요 짱이언니님.

해당대회는 독립변수(X)를 가지고 종속변수(Y)를 예측하는 것이기에 target(Y)로 파생변수를 만들 수 없습니다. 

감사합니다.

안녕하세요 Liebestraume님.

해당 대회의 데이터가 시계열 데이터라고 언급하지 않았습니다. 즉 test dataset은 시간 순서로 나열 됐는지에 대한 여부는 알 수 없는 사실입니다.
따라서 이전 시점의 target값을 변수로 사용하는 것은 Data Leakage에 해당합니다. 

감사합니다. 

안녕하세요 제출수늘려주세요님,
stacking 앙상블은 정상적으로 진행했다면 Data Leakage에 해당하지 않습니다.
Train data에 대한 예측 결과들을 활용하여 만들어진 메타 데이터셋으로 메타 모델을 학습시킨 후, Test data에 대해서는 Train data로부터 훈련된 메타 모델을 통해 최종 예측만 수행하기 때문에 Data Leakage에 해당하지 않습니다.
그러나 메타 모델을 학습하는 과정에서 Test data에 대한 추론 결과를 메타 데이터셋에 활용 혹은 포함하여 학습하는 것은 Data Leakage입니다.
감사합니다.

train 과정에서만 test가 안쓰이면 dataleakage가 아니군요 빠른답변감사합니다 ^^

1. 클러스터링을 test dataset으로 fit 하는 경우 Data Leakage에 해당합니다. 
2. 날씨 데이터를 사용한다면, 예보 데이터 같은 이전 시점에 알 수 있는 데이터를 사용하지 않는다면 Data Leakage에 해당합니다.

안녕하세요, 마그보컬님.

먼저 해당 아이디어는 Data Leakage 문제를 벗어나서 논리적으로 오류가 있습니다.
그 이유로는 시계열이 아닌 일반적인 지도 학습 문제를 푸는 데 있어서 독립변수 X로 종속변수 Y를 학습하고 추론하는 것이 기본입니다. 
다만 마그보컬님의 아이디어는 Target 값에서 파생된 값으로 Target을 학습하고 추론하는 것이기에 논리적 오류가 있는 것입니다. 

감사합니다. 

안녕하세요, 콜라님.

먼저 해당 아이디어는 위 질문과 비슷한 맥락입니다. 

시계열이 아닌 일반적인 지도 학습 문제를 푸는 데 있어서 독립변수 X로 종속변수 Y를 학습하고 추론하는 것이 기본입니다. 
다만 콜라님의 아이디어는 Target 값에서 파생된 값으로 Target을 학습하고 추론하는 것이기에 논리적 오류가 있습니다. 

감사합니다. 

그럼 말씀해주신 대로 target에서 데이터를 파생해서 순위권에 오를 경우 모두 실격 처리가 맞나요?

안녕하세요, 콜라님.

Target의 정보도 주어진 정보이기에 사용이 불가능한 것은 아닙니다. 다만 주어진 정보를 활용하는 방법에 따라 결과는 달라집니다.  

감사합니다.  

안녕하세요, hector21님.

위 답변에서 Train의 종속 변수를 사용할 수 없다고 언급한 적은 없습니다. 

감사합니다. 

@DACONIO
안녕하세요, 질문에 대해 제대로 답변이 되지 않은 것 같습니다. 질문의 요지는 'train의 종속변수를 사용할 수 없나'가 아니라 'train의 종속변수를 바탕으로 파생변수(additional input)을 만들 수 없나'인 것으로 보입니다. train에서 이미 알려진 값은 독립변수(input)뿐만 아니라 종속변수(label)를 포함하기 때문입니다. 해당 부분에 대해서 재확인 요청드립니다.

안녕하세요, samkim.

train의 종속변수를 바탕으로 파생변수(additional input)을 만들 수 없나에 대한 요지에 대해 말씀드리면, Data Leakage에 해당하지 않기 때문에 사용 가능합니다.

감사합니다.

안녕하세요, Liebestraume님.

 "해당 대회는 독립변수(X)를 가지고 종속변수(Y)를 예측하는 것이므로 파생변수를 만들수 없다"라는 부분은 가장 기본적인 사칙연산 같은 예시를 얘기한 것입니다. 하지만 예외의 케이스 존재와 더불어 Data Leakage에 해당하지 않기 때문에 종속변수를 활용하는 것은 가능합니다. 

감사합니다. 

안녕하세요, samkim님.

Train의 종속변수를 활용하는 것은 Data Leakage가 아니기 때문에 사용가능합니다. 

감사합니다. 

안녕하세요, Jay 윤 님.

팀 병합 관련 메일 확인했습니다. 해당 대회의 팀 병합 관련해서 여러 요청이 있어, 팀 병합 마감 일정을 22년 11월 4일로 변경하였습니다. 
 대회 규칙의 팀 병합 관련 내용을 잘 숙지한 후 팀 병합을 진행해 주시면 되겠습니다. 

감사합니다. 

안녕하세요, 머키님.

주어진 test set에는 2022년 8월 데이터만 존재하는 것은 맞지만 이를 모델 학습에 적용하는 것은 Data Leakage에 해당합니다. 

감사합니다. 

그럼 모델이 train data에 기록된 마지막 시각 이후의 모든 시간대에서 작동해야하나요?

안녕하세요 머키님.

학습된 모델은 모든 시간대에서 추론이 가능해야합니다. 

감사합니다. 

안녕하세요, 기세현님.

test  set에 대해 다른 입력값이 있을 것을 염두하여 LabelEncoding을 하는 것을 권장드립니다. 

감사합니다.  

안녕하세요, 방금망고먹음 님.

예정된 축제나 행사 날짜가 test 기간 이전에 미리 알 수 있는 정보라면 data leakage에 해당하지 않습니다.  

감사합니다. 

안녕하세요, radgy님.

train set 과 test set을 통합하여 원핫인코딩을 하는 것은 Data Leakage에 해당하며, 문자형 변수를 인코딩 하신다면 말씀하신 바와 같이  train set에 fit한 encoder를 가지고 test set을 transform하는 것을 권장합니다. 

감사합니다.

안녕하세요, Ski님.

위와 같이 특정 시간대를 파생변수로 만드는 것은 Data Leakage에 해당하지 않습니다. 

감사합니다. 

안녕하세요, 익명의누군가님.

8월 이후 정보가 반영되어 업데이트 되었다면 해당 정보를 사용하는 것은 Data Leakage에 해당합니다.

감사합니다.

안녕하세요, rim2님.

주최 측의 의견에 따라 Data Set의 출처와 수집 방법은 공개할 수 없습니다.   

감사합니다.   

안녕하세요, Ski님.

train set의 종속변수를 활용하는 것은 Data Leakage에 해당하지 않습니다.

감사합니다. 

안녕하세요 samkim님,
Data Leakage 규칙 내에서 시계열 모델을 활용하는 것에는 제약 사항이 없습니다.
그러나 Test 데이터셋을 추론하는 경우에는 코드 검증 과정에서 row들을 shuffle하였을 때도 모두 동일한 예측 결과를 얻을 수 있어야 합니다.
또한 추론 시 사전에 Test 데이터셋에 대해서 일부 Column을 기준으로 Sorting을 하는 방법은 Data Leakage에 해당합니다.
감사합니다