안녕하세요 여러분 ! 👩‍🏫👨‍🏫 약 3달간 진행 되었던 오늘의 파이썬이 Lv1 부터 Lv4 까지 모두 공개 되었습니다.

처음 부터 끝까지 꾸준하게 따라오신 여러분 너무 고생 많으셨습니다.🏃‍♀️🏃‍♂️

이제까지 학습했던 내용을 되돌아 볼 겸, 이번 시간과 다음 시간에는 정형 데이터 분석의 전체 파이프라인에 대해 복습해 보도록 하겠습니다.

순서는 다음과 같습니다. 그럼 바로 시작해보겠습니다.

1. 탐색적 데이터 분석(EDA)
2. 데이터 전처리
3. 머신러닝 모델링
4. 모델 튜닝

1️⃣ 탐색적 데이터 분석(EDA)

EDA : 처음 데이터를 수집하였을 때 다양한 각도에서 관찰하고 이해하는 과정.

EDA 과정이 필요한 이유는 데이터 분석을 시작 하기전에 데이터에대한 100% 이해가 필요하기 때문입니다. 데이터를 잘 이해하고 파악하여야 목적에 맞게 데이터를 정제 시킬 수 있고 더 나아가 새로운 인사이트를 도출 할 수 있게 될 것 입니다 ! 👨‍🏫

오늘의 파이썬에서 EDA 기초 내용은 아래 링크에서 확인 하실 수 있습니다. 🤴👸

• 라이브러리 불러오기 (import)
• 파일 불러오기 (read_csv())
• 행열갯수 관찰하기 (shape)
• 데이터 확인하기 (head())
• 결측치 유무 확인하기 isnull().sum()
• 데이터 결측치 확인하기 (info())
• 수치데이터 특성 보기 (describe())  

2️⃣ 데이터 전처리

데이터 전처리 과정은 데이터 분석의 전체 파이프라인에서 가장 중요한 과정입니다.👨‍🦳

분석 결과/인사이트와 모델 성능에 직접적인 영향을 미치는 과정이기 때문에 중요하게 다뤄지는 과정입니다.

한 설문조사에 의하면, 분석가의 80% 시간을 데이터 수집 및 전처리에 사용한다고 합니다.🕵️‍♂️

오늘의 파이썬에서 데이터 전처리 기초 내용은 아래 링크에서 확인 하실 수 있습니다.🦸‍♀️🦸‍♂️

결측치 다루기

• 결측치 삭제하기, 대체하기 (dropna(), fillna())
• 결측치 평균으로 대체 (fillna({mean}))
• 결측치 보간법으로 대체 (interpolate())

이상치 다루기

• 이상치 탐지 seaborn_boxplot()
• 이상치 제거 IQR

정규화 및 인코딩

• 수치형 데이터 정규화 MinMaxScaler()
• 원-핫 인코딩 OneHotEncoder()

↩️ 오늘의 파이썬 리스트

#데이콘_101 #AI #머신러닝 #딥러닝 #파이썬 #파이선  #데이터분석 #데이터사이언티스트 #코랩 #Python  #colab #kaggle #pandas #numpy #sckit-learn # read_csv