Python 튜토리얼

이번 시간에는 IQR을 통해서 이상치를 제거해보겠습니다.

IQR이란, 3분위수(75%에 위치한 값) - 1분위수(25%에 위치한 값)를 의미합니다.

아래의 지난 시간에서 다룬 boxplot을 통해서 살펴보겠습니다.

각각의 선들이 의미하는 바를 살펴보겠습니다.

• 10~8 사이의 실선 : 3분위수 + 1.5 * IQR
• 보라색 박스의 위쪽 실선 : 3분위수 (75%)
• 보라색 박스의 중앙 실선 : 2분위수 (중앙값)
• 보라색 박스의 아래 실선 : 1분위수 (25%)
• 4~6 사이의 실선 : 1분위수 - 1.5 * IQR
• 보라색 박스의 길이 : 3분위수 - 1분위수 = IQR

즉, 우리는 이 boxplot의 4와 6사이의 실선보다 작고, 8과 10 사이의 실선보다 큰 데이터 포인트들을 이상치로 판단하고 제거해보겠습니다.

---------------------------------------------------------------------------------------------------------

# 25%에 위치한 값을 구해줍니다.

quantile_25 = np.quantile(train['fixed acidity'], 0.25)

---------------------------------------------------------------------------------------------------------

# 75%에 위치한 값을 구해줍니다.

quantile_75 = np.quantile(train['fixed acidity'],0.75)

---------------------------------------------------------------------------------------------------------

# IQR을 구해줍니다.

IQR = quantile_75 - quantile_25

---------------------------------------------------------------------------------------------------------

# quantile_25보다 1.5 * IQR 작은 값을 구해줍니다.

minimum = quantile_25 - 1.5 * IQR

---------------------------------------------------------------------------------------------------------

# quantile_75보다 1.5 * IQR 큰 값을 구해줍니다.

maximum = quantile_75 + 1.5 * IQR

---------------------------------------------------------------------------------------------------------

# minimum보다 크거나 같고, maximum보다 작거나 같은 값들만 뽑아냅니다.

train2 = train[(minimum <= train['fixed acidity']) & (train['fixed acidity'] <= maximum)]

---------------------------------------------------------------------------------------------------------

[Colab 실습 링크]

↩️ 오늘의 파이썬 리스트

#데이콘_101 #AI #머신러닝 #딥러닝 #파이썬 #파이선  #데이터분석 #데이터사이언티스트 #코랩 #Python  #colab #kaggle #pandas #numpy #sckit-learn # read_csv #이상치제거 #IQR