자율주행 센서의 안테나 성능 예측 AI 경진대회

댓글 감사합니다.
최종 code 및 발표 자료를 업로드하지 않고 핵심적인 방법론을 간단하게 소개하다 보니 설명이 부족했던 것 같습니다.
github의 code 및 발표 자료를 보시면 자세한 내용을 이해하기에 도움이 되실 것 같습니다.

답변드리자면, train dataset을 기준으로 unique 한 값을 가지는 변수는 ['X_04', 'X_23', 'X_47', 'X_48']입니다.
['X_04', 'X_23', 'X_47', 'X_48']의 변수 설명을 살펴보면 1~4차 검사 통과 여부를 의미합니다.
이를 통해, data leakage 문제없이 학습에 있어 유의미한 정보를 가지고 있지 않는다고 판단할 수 있었습니다.
또한, 변수 설명을 통한 도메인 지식 기반으로도 충분히 제거할 수 있는 변수로 판단하였습니다. 

Scratch code에서는 EDA 과정 중에 train과 test dataset을 결합하여 위와 같이 변수를 제거하였습니다.
하지만, 실제 경진대회를 진행할 때 test dataset의 분포를 사용해서 임의로 변수를 제거한 것이 아니었기 때문에 data leakage 문제가 없다고 생각됩니다.

답변 후 코드를 수정하게 된다면 다른 분들은 해당 이슈를 인지하지 못할 수 있을 것 같습니다.
때문에, 동일한 코드에서 결과를 출력한 파일로만 글을 수정하겠습니다.

감사합니다 :)

현재  제공된 train과 test를 통해서 [train분포로 만 unique 컬럼을 뽑았을 때], [train과test합쳐 unique 컬럼을 뽑았을 때] 두 경우 모두 같은 컬럼이 뽑아진다고 하지만 다른 test 데이터셋이 들어온다면(현재 코드처리 단계에서 drop_columns 리스트가 변할만한 데이터셋) 결과가 달라질 수 있는 여지가 있기 때문에 DACON의 평가 절차가 어떻게 될지는 모르겠네요.

이번 대회는 특히 DataLeakage를 유의하라는 remind 공지도 올라온 것 같습니다.
"평가 데이터셋(Test Dataset)의 Row의 개수 혹은 Index (그 밖의 Test Dataset에 대한 정보)를 활용하는 것은 Data Leakage에 해당됩니다."
"일반적으로 Test Dataset은 '아예 볼 수 없다' 라고 가정하고 진행해야하며 코드 역시 이를 반영해야합니다."

real world에 이러한 알고리즘을 적용하기 위해 개발을 한다면 이런 문제를 파악한 후 바로 잡으면 되겠지만, 대회의 특성상 다른 팀과의 공정성을 위해 이런 부분도 
 평가되어야 한다고 생각합니다.

물론 최종 제출이 중요하니 이런 부분이 고려되어 잘 제출이 됐다면 다행이네요!

안녕하세요.

제가 github에 있는 코드를 개발한 사람입니다.

일단 공유드린 본 코드는 최종본이 아니며,  대회를 진행하면서 큰 틀에서 비슷하게 진행됐던 케이스를 공유드린겁니다.
(저희는 큰 방법은 공유를 하고 각자 개발해서 좋은 점수가 나오는 것을 최종 제출하는 식으로 진행했습니다.)

그럼에도 위의 코드로도  Private 2,3위 정도의 점수가 확보됩니다.

따라서 제가 columns drop 한 기준은 본 코드랑 다르고 깃헙 코드를 보시면 알겠지만 drop한 column도 다릅니다.

저는 분명히 개발할 때 언급하신대로  그리고, remind 공지에 올라온 대로

"일반적으로 Test Dataset은 '아예 볼 수 없다' 라고 가정하고 진행해야하며 코드 역시 이를 반영해야합니다."

라는 기준으로 Train 데이터으로만 drop 기준을 잡았고 그리고 도메인적인 부분과 같이 고려하여

이 부분에 부합되는 Column를  drop하는 기준을 Fix하여 개발했습니다.

따라서, 공정성에도 전혀 문제가 없다 생각하고 Real World에서도 당연히 문제없는 코드라 생각합니다.

네 저도 댓글을 쓰면서 github에 올려진 코드를 뒤늦게 보았었는데 누수 이슈은 없어보였습니다.

첫 댓글은 해당 github에 올려진 코드가 아닌 현재 이 코드만 보고 의견을 썼었습니다.

그리고 피피티도 올려주셨길래 봤는데 정말 많은 노력이 담겨있는 것 같습니다.

평가에서 좋은 결과가 나오셨으면 좋겠습니다!!

추가 답변입니다.

저희 팀원이 전달한 내용처럼 최종적으로 제출한 code를 기준으로 data leakage가 발생하지 않는다는 의견은 저도 마찬가지로 동의합니다.

유의 사항에 따른 평가 절차에 대해 제 생각을 말씀드리겠습니다.
scratch code를 기반으로 case를 살펴보겠습니다.

case 1 : train unique, test unique
- 새로 수집한 test data는 Pipeline을 통해 학습에 사용된 변수들로만 데이터셋이 재구성되어 추론을 진행합니다. 이때, 제거된 변수의 test 시점의 정보가 학습된 모형에 영향을 미치지 않습니다.

case 2: train unique, test not unique
- 이전에 제거되지 않았던 변수가 나타납니다. 하지만, 추론 시 case 1과 같이 test 시점의 정보가 예측 모형에 영향을 미치지 않습니다. 또한, 새로 수집한 data를 학습 시 추가적으로 사용할 수 있는 변수를 살펴볼 수 있습니다. 결과적으로, unique한 값을 갖는 변수가 학습 시 추가되지만 온전히 train 시점의 정보만 학습에 영향을 미칩니다.

때문에, 위와 같은 과정을 통해 데이터 전처리 시 변수를 drop 하는 것은 data leakage 문제로 볼 수 없습니다.
scaling, test data의 분포를 기반으로 생성한 파생 변수, pseudo labeling 등이 data leakage 문제가 발생된다고 생각됩니다.
scratch code에서 unseen data를 관측하는 부분이 엄밀하게 가정에 맞지 않는다고 지적해 주신 내용은 이해가 되는 부분입니다.

핵심적인 방법론을 소개 드리고 싶어 작성한 code에서 꼼꼼하게 살펴보지 못하고 이슈를 일으키게 되어 부족한 점을 느끼고 있습니다.
github를 살펴보시면 real-world에서 model serving 관점에서도 충분히 사용할 수 있는 예측 모형을 개발하려고 노력했음을 확인하실 수 있습니다.

구체적인 피드백 감사드리며 답변이 도움이 되었기를 희망합니다 :)

토론의 장이 되어버렸네요...
대회에서 좋은 점수를 기록하게 되어서 관심을 많이 주시는 것 같습니다.

우선 말씀하신 내용에 대해서도 납득이 되는 부분이 있습니다.
저는 현실적인 상황에서 해당 문제를 해결하는 것을 중요한 우선순위로 생각했습니다.
제안하는 방법론을 실제로 적용할 수 있는지, 그에 따른 근거를 도출할 수 있는지 등을 고민하고 과제를 진행했습니다.
Data Leakage에 해당되지 않는 선에서 문제를 해석하고 가설을 세우며 타당성을 확보하고자 했습니다.

답글을 통해 구체적으로 말씀드리고 싶지만 아직 대회가 진행 중이기 때문에 토론이 과열되어 팀에 피해를 끼칠 우려가 있습니다.
대회가 끝나고 추후에 해당 이슈에 대해 정리하여 말씀드릴 수 있도록 노력하겠습니다.
2차 평가 심사에서 위의 이슈로 공격을 받는다면 설득력 있게 답변을 드릴 예정입니다.
심사 위원 분들께서 제안하는 방법론에 대한 위험 요소를 충분히 고려하시고 평가를 해주실 것 같습니다.

끝으로, 저희 팀이 고민한 결과물을 발표 자료를 통해 친절하게 설명하고 싶었습니다.
다양한 의견은 개인적으로 언제나 환영이지만 대회가 마무리되지 않았고 2차 평가 전에 편향된 사고를 초래하게 될 위험이 있어 발표 자료는 삭제했습니다.

감사합니다 :)

아무래도 상위팀에 대한 견제는 피할 수 없는 숙명이죠!

대부분의 공모전에서 운영사와 주관사가 극도로 신경 쓰는 부분이 공정성입니다.
이미 많은 대회에서 경험하셨겠지만, 대회 평가 기준에 여러 지표들이 있어도 큰 스코어 차이가 나는데 1등을 바꾸기는 어렵습니다.
모형의 스코어가 아닌 사람의 평가는 항상 공정성의 이슈가 뒤따를 수 밖에 없으니까요.

Data Leakage는 대회 규정상 실격 사유에 해당합니다. 
비슷한 시기에 진행된 옆대회, 수위 예측 시계열 문제에서는 미래 시점의 정보가 말려들어오면 실격입니다. 
예를 들어 FFT를 하더라도 현재 t시점까지의 정보만 활용해야지, t+1 시점이 들어오면 실격사유에 해당합니다.  대신 t시점까지의 이동평균은 문제가 없죠.

이 대회는 시계열 문제가 아니기 때문에 더욱 조건이 까다롭습니다. 공지에서 말한 index를 쓰지말라는 것은 "시점"이라는 속성자체를 활용하지 말라는 것과 동일하다고 생각합니다.
Test 데이터에서 전체 평균을 계산하는 것도 data leakage에 해당한다고 공지가 되어 있고, Test 데이터로 FFT를 하는 순간 data leakage에 해당합니다. 
t, t-1, t-2 와 같이 시점 정보를 활용하는 MA 역시 data leakage에 해당할 가능성이 매우 높습니다. 

이게 문제가 되지 않으면 앞으로의 대회에서 Test 데이터의 결측값 처리 과정에서 전체 평균대신 이동 평균을 써도 된다는 것이 되고, 
시계열 문제도 아닌데, 결측값을 전체 평균으로 채우면 실격이고 이동 평균은 실격이 아니라는 이상한 결론이 나오게 됩니다.
역시 공정성의 이슈가 발생합니다.


저는 매번 거의 혼자 대회 참여하다가 뒤늦게 팀에 합류했는데요, 대충하고 적당히 해서 상위에 랭크된 팀은 없겠죠.
혼자 할 때는 그냥 적당히 넘어가는 경우가 많지만, 이번에는 팀원들이 노력한 것들이 눈에 아른거려서 더욱 날을 세울 수 밖에 없는 것을 양해 부탁드립니다.

의견 감사합니다.

저희 또한 노력해서 본 방법을 사용한것이고 말씀드리고 방어드리고 싶은 부분도 많으나, 아직 대회가 끝난것 아니므로 말을아끼겠습니다.

주최측에서 잘  판단하시라 믿습니다.