안녕하세요! 먼저 답변 주셔서 감사드립니다. 큰 도움이 되었습니다. 혹시 질문드리고 싶은게 있는데 모델이 비교적 잘 적합되어있어서 파생변수 생성시에 교차검증 성능이 아주 희박하게 좋아지는데 test는 크게 좋아지면 어떻게 받아들여야 하는건지 사용하는게 맞는건지 알 수 있을까요!

안녕하세요! 실험을 열정적으로 하고 계신 거 같습니다. test만 크게 좋아진다면, 이건 조심스럽게 접근해야 할 상황입니다. 일반적으로 신뢰할 수 있는 파생변수는 교차검증에서 안정적으로 성능을 개선시키는 변수입니다. test에서만 크게 좋아진다는 것은 우연히 test 데이터의 특성과 맞아떨어졌을 가능성도 있기 때문입니다. 만약 그 파생변수가 우연히 대회의 test 데이터에서만 효과적이라면 운좋게 점수는 높게 나와서 수상할 수는 있겠지만, 다른 데이터에서 성능이 좋지 않다면 실제로 좋은 모델이라고 볼 수는 없겠죠? 다만 교차검증에서도 개선이 있었다면, 그 파생변수 자체가 나쁜 건 아닐 수 있습니다. 

atcas님이 어떤 목적으로 모델을 개발하시는지는 모르겠지만 대회 참여든 실무 활용이든, 결국 우리가 신뢰해야 하는 것은 교차검증 결과입니다. 대회라면 실제 평가 데이터가 우리가 가진 test와 다를 것이고, 실무라면 미래의 새로운 데이터에서도 잘 작동해야 하기 때문입니다. 수상도 중요하긴 하지만 데이터 전문가가 되시기 위해서는 교차검증을 통해 일관되게 성능이 좋은 모델을 개발하는 방향으로 연습하시는 것을 추천드립니다!

제가 사용하는 데이터의 train mae는 2정도, test의 mae는 5정도로 분포 차이가 많이 나서 이 부분이 더욱 헷갈리는거 같습니다...
귀한 시간내어서 성심성의껏 답변주셔서 진심으로 감사드립니다! 정말 큰 도움이 되었습니다!