따라하면서 배우는 머신러닝 프로젝트: 회귀

프로젝트의 목적과 평가 방식(MSE 지표)을 파악하고, 회귀 문제의 정의와 데이터셋 구조(train.csv, test.csv, sample_submission.csv)를 이해합니다.

pandas를 활용하여 CSV 데이터를 불러오고, head(), info(), shape, columns, dtypes 등 다양한 함수를 사용해 데이터의 구조를 파악합니다.
또한, loc[], iloc[]을 활용해 특정 행과 열을 선택하고, 인덱스를 직접 설정하여 효율적으로 데이터를 다루는 방법을 배웁니다.

히스토그램, 박스플롯, 산점도 등의 시각화 기법을 통해 데이터 분포와 변수 간 관계를 분석하고,
IQR을 활용한 이상치 탐지 기법을 실습하며 데이터의 품질을 점검하고 전처리하는 과정을 익힙니다.

이상치 제거 및 평균값 대체를 통한 데이터 정제, 기존 변수(DHI, DNI)를 조합해 파생 변수(Total_Solar)를 생성하며
모델 성능을 높이기 위한 피처 엔지니어링 기법을 학습합니다.

선형 회귀(LinearRegression) 모델을 활용해 학습 데이터를 기반으로 모델을 학습하고,
예측 결과를 저장하여 제출 파일을 생성하는 전체 과정을 실습합니다.
또한, train_test_split()을 사용해 검증 데이터를 따로 분리하여 성능 평가용 데이터를 준비하는 방법도 함께 배웁니다.

검증 데이터가 있는 경우와 없는 경우를 나눠 모델을 평가하고,
mean_squared_error() 또는 직접 수식을 구현하여 MSE를 계산하는 방법을 학습합니다.
실제 제출 파일을 생성하여 예측 결과의 성능을 확인할 수 있습니다.

랜덤포레스트 모델을 사용해 학습 데이터에서는 성능이 높지만 검증 데이터에서는 성능이 떨어지는 과적합 상황을 직접 실습해보며,
과적합이 왜 발생하는지, 어떻게 방지할 수 있는지를 체험합니다.

전처리, 파생 변수 생성, 모델 학습, 예측, 제출 파일 생성까지 모든 과정을 종합해 하나의 워크플로우로 실습합니다.
실제 대회나 업무 현장에서 예측 모델을 적용하는 전 과정을 연습할 수 있습니다.