안녕하세요? 머신러닝을 공부하고 있는 고등학생입니다.

그동안 dacon basic도 참가해보고, 여러 타 데이터 분석 대회도 참가해보면서 항상 의문인 점이 있어서 글을 써봅니다.

"정교하지 않아도 되나요?"

데이터 분석의 첫번째 단계인 EDA는 데이터를 탐색하며 이해도를 높이는 단계라고 알고 있습니다. 데이터의 분포도 확인하고, 결측치도 확인하고 요약도 해보고... 다양한 과정이 이루어집니다. 이 과정에서 얻은 내용들은 데이터 전처리, 변수 선택, 모델 선택에 큰 영향을 끼칩니다. 선형관계에 있으면 선형회귀를 쓰고, 상관계수가 높으면 해당 변수를 선택하고... 그런데 이 과정이 정말로 정교하다고 말할 수 있는지 모르겠습니다.

인터넷에 통계와 머신러닝의 차이에 대해 검색해보니 이런 내용이 나오더라구요. 통계는 실패를 줄이고 머신러닝은 성공 확률을 높이는 데 목적이 있다.... 어쩌구 저쩌구. 머신러닝에서 '왜 그런 모델을 쓰는거지? 왜 이런 변수를 선택한 거지?'라는 의문에 대해 많은 사람들은 이렇게 답하곤 합니다. "그렇게 하면 결과가 좋으니까". 머신러닝에서는 결과가 좋으면 과정이 매우 엄밀하지 않아도 된다는 것입니다. 제가 공부하면서 정말 많이 느낀 부분이기도 합니다. 근데 정말로 좋다고 말할 수 있는 걸까요? 저에겐 그저, 우연히 빠르기만한 너덜거리는 자동차에 불과하다고 느껴졌습니다. 언덕을 오르면 금방이라도 부서질 것 같았습니다.

선형회귀는 4가지 통계적 가정을 만족해야 합니다. 반면 RF는 노이즈가 많은 데이터에 강하다 등의 특징으로 가볍게 판단하고 모델링 결과에 집중합니다. 물론 RF는 선형회귀와는 다르게 비모수 모델이기 때문에 어쩔 수 없다는 걸 알고 있습니다. 하지만 정말로 RF의 트리 구조로 해당 문제를 접근해도 되는지는 모릅니다. 앞에서 상관계수와 변수 선택에 대해 짧게 언급했는데, 이 경우에도 상관계수 뿐만 아니라 정말 수많은 요소를 고려하여 신중하게 결정해야 하는 것이 아닌가 이런 생각이 듭니다(제가 모르는 무언가가 더 있을수도 있습니다만, 하나의 예시로 봐주시면 감사하겠습니다).

그래서 제가 묻고 싶은 것은 이것입니다. 실제로 정교하게 보이고 할 수 있는 방법이 있는데 제가 모르고 있는 것인가요? 그런 방법 없이 그저 성능으로만 판단하는 것이라면, 왜 그렇게 해도 되는 것인가요?

하찮은 글 읽어주셔서 정말 감사합니다.

혹시 이 질문이 나름 의미가 있다고 생각하신다면, 많은 논의가 이루어지면 좋겠습니다 :). 많이 궁금하거든요...