Python ํŠœํ† ๋ฆฌ์–ผ

๊ธฐ์ดˆ

  • moneyIcon Prize : ๊ต์œก
  • 9,999๋ช… D-100719

ย 

Lv4 EDA ๋ณต์Šต ๐Ÿง“๐Ÿ‘ด

2021.08.06 15:30 2,408 Views

์•ˆ๋…•ํ•˜์„ธ์š” ๐Ÿ‘‹ ์ด๋ฒˆ ์‹œ๊ฐ„์—๋Š” LV4์˜ EDA ๋‚ด์šฉ์„ ๋ณต์Šตํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.  


1๏ธโƒฃ seaborn pairplot

seaborn์˜ pairplot์€ ๋ฐ์ดํ„ฐ์— ๋“ค์–ด ์žˆ๋Š” ๊ฐ ์ปฌ๋Ÿผ(์—ด)๋“ค์˜ ๋ชจ๋“  ์ƒ๊ด€ ๊ด€๊ณ„๋ฅผ ์ถœ๋ ฅํ•ฉ๋‹ˆ๋‹ค.

3์ฐจ์› ์ด์ƒ์˜ ๋ฐ์ดํ„ฐ๋ผ๋ฉด pairplot ํ•จ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•ด ๋ถ„ํฌ๋„๋ฅผ ๊ทธ๋ฆฌ๋ฉด ์†์‰ฝ๊ฒŒ ๋ชจ๋“  ๋ณ€์ˆ˜๊ฐ„์˜ ์ƒ๊ด€๊ด€๊ณ„๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

pairplot์€ grid(๊ฒฉ์ž) ํ˜•ํƒœ๋กœ ๊ฐ ์ง‘ํ•ฉ์˜ ์กฐํ•ฉ์— ๋Œ€ํ•ด ํžˆ์Šคํ† ๊ทธ๋žจ๊ณผ ๋ถ„ํฌ๋„๋ฅผ ๊ทธ๋ฆฝ๋‹ˆ๋‹ค.


2๏ธโƒฃseaborn distplot

seaborn์˜ distplot ํ•จ์ˆ˜๋Š” ๋ฐ์ดํ„ฐ์˜ ํžˆ์Šคํ† ๊ทธ๋žจ์„ ๊ทธ๋ ค์ฃผ๋Š” ํ•จ์ˆ˜์ž…๋‹ˆ๋‹ค.

ํžˆ์Šคํ† ๊ทธ๋žจ์ด๋ž€ ์ˆ˜์น˜ํ˜• ๋ฐ์ดํ„ฐ ๋ถ„ํฌ๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ํ‘œํ˜„ํ•ด์ฃผ๋Š” ์‹œ๊ฐํ™” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค.ย ย 

๋ณ€์ˆ˜๋ฅผ ์—ฌ๋Ÿฌ ๊ฐœ์˜ bin์œผ๋กœ ์ž๋ฅด๊ณ (์‚ฌ์šฉ์ž ์ง€์ •) bin๋‹น ๊ด€์ธก์ˆ˜๋ฅผ ๋ง‰๋Œ€๊ทธ๋ž˜ํ”„๋กœ ํ‘œํ˜„ํ•ฉ๋‹ˆ๋‹ค.


3๏ธโƒฃ ํžˆํŠธ๋งต (Heat Map)

ํžˆํŠธ๋งต์€ ๋‘๊ฐœ์˜ ๋ฒ”์ฃผํ˜•(Categorical) ๋ณ€์ˆ˜์— ๋Œ€ํ•œ ๋ฐ˜์‘๋ณ€์ˆ˜์˜ ํฌ๊ธฐ๋ฅผ ์ƒ‰๊น”์˜ ๋ณ€ํ™”๋กœ ํ‘œํ˜„ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด, ์ผ ๋ณ„ ๊ธฐ์˜จ์„ ๋ณด๊ณ ์ž ํ• ๋•Œ , ๋งค์ผ ์˜จ๋„๋ฅผ ํžˆํŠธ๋งต์œผ๋กœ ํ‘œํ˜„ํ•˜์—ฌ ์˜จ๋„ ๋ณ€ํ™”์˜ ์ถ”์ด๋ฅผ ๋ณผ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.ย ย 

๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ณผ์ •์—์„œ๋Š” ๋ณ€์ˆ˜๋ณ„ ์ƒ๊ด€๊ด€๊ณ„๋ฅผ ํ™•์ธ ํ• ๋•Œ ํžˆํŠธ๋งต ๊ทธ๋ž˜ํ”„๋ฅผ ๋งŽ์ด ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.


( ํžˆํŠธ๋งต ๊ทธ๋ž˜ํ”„ ์˜ˆ์‹œ )

CCKorea / CC BY



4๏ธโƒฃ ๋‹ค์ค‘๊ณต์„ ์„ฑ / Scatter plot


๋‹ค์ค‘๊ณต์„ ์„ฑ

๋‹ค์ค‘๊ณต์„ ์„ ์€ ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ๋†’์€ ๋…๋ฆฝ๋ณ€์ˆ˜๋“ค์ด ๋™์‹œ์— ๋ชจ๋ธ์— ํฌํ•จ๋  ๋•Œ ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค.

๋งŒ์•ฝ ๋‘ ๋ณ€์ˆ˜๊ฐ€ ์™„๋ฒฝํ•˜๊ฒŒ ๋‹ค์ค‘๊ณต์„ ์„ฑ์— ๊ฑธ๋ ค์žˆ๋‹ค๋ฉด, ๊ฐ™์€ ๋ณ€์ˆ˜๋ฅผ ๋‘ ๋ฒˆ ๋„ฃ์€ ๊ฒƒ์ด๋ฏ€๋กœ ๋ชจ๋ธ์ด ๊ฒฐ๊ด๊ฐ’์„ ์ถ”๋ก ํ•˜๋Š” ๋ฐ ๋ฐฉํ•ด๊ฐ€ ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.ย 


๋‹ค์ค‘๊ณต์„ ์„ฑ ํ™•์ธ

๋‹ค์ค‘๊ณต์„ ์„ฑ์„ ํ™•์ธ ํ•˜๋Š” ๋ฐฉ๋ฒ•์€ ํฌ๊ฒŒ 3๊ฐ€์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

  1. Scatter plot์„ ํ†ตํ•œ ํ™•์ธ
  2. Heatmap ๊ทธ๋ž˜ํ”„๋ฅผ ํ†ตํ•œ ํ™•์ธ
  3. VIF(Variance Inflation Factors, ๋ถ„์‚ฐํŒฝ์ฐฝ์š”์ธ)์„ ํ†ตํ•œ ํ™•์ธ

์ด๋ฒˆ ์‹œ๊ฐ„์—๋Š” ์ฒซ๋ฒˆ์งธ ๋ฐฉ๋ฒ•์ธ Scatter plot์„ ์ด์šฉํ•˜์—ฌ ๋‹ค์ค‘๊ณต์„ ์„ฑ์„ ํ™•์ธ ํ•ด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

Scatter Plot(์‚ฐ์ ๋„ ๊ทธ๋ž˜ํ”„)๋Š” ๋‘ ๊ฐœ์˜ ์—ฐ์†ํ˜• ๋ณ€์ˆ˜์— ๋Œ€ํ•œ ๊ด€๊ณ„๋ฅผ ํŒŒ์•…ํ•˜๋Š”๋ฐ ์œ ์šฉํ•˜๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Scatter Plot ์˜ˆ์‹œ

CCKorea / CC BY



์˜ˆ์‹œ์ฒ˜๋Ÿผ x ๋ฐ์ดํ„ฐ๊ฐ€ ์ฆ๊ฐ€ํ•จ์— ๋”ฐ๋ผ y ๋ฐ์ดํ„ฐ๊ฐ€ ์ฆ๊ฐ€ํ•˜๋Š” ๊ฒฝํ–ฅ์„ ๋ณด์ด๋Š”๋ฐ, ์ด๋Ÿด ๊ฒฝ์šฐ ๋‘ ๋ณ€์ˆ˜์˜ ์ƒ๊ด€๋„๊ฐ€ ๋†’๋‹ค๊ณ  ํ•ด์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


5๏ธโƒฃ VIF(๋ถ„์‚ฐํŒฝ์ฐฝ์š”์ธ)


VIF๋Š” ๋ณ€์ˆ˜๊ฐ„์˜ ๋‹ค์ค‘๊ณต์„ ์„ฑ์„ ์ง„๋‹จํ•˜๋Š” ์ˆ˜์น˜์ด๋ฉฐ ๋ฒ”์œ„ 1๋ถ€ํ„ฐ ๋ฌดํ•œ๋Œ€์ž…๋‹ˆ๋‹ค.

ํ†ต๊ณ„ํ•™์—์„œ๋Š” VIF ๊ฐ’์ด 10์ด์ƒ์ด๋ฉด ํ•ด๋‹น ๋ณ€์ˆ˜๊ฐ€ ๋‹ค์ค‘๊ณต์„ ์„ฑ์ด ์ž‡๋Š” ๊ฒƒ์œผ๋กœ ํŒ๋‹จ ํ•ฉ๋‹ˆ๋‹ค.


VIF๋ฅผ ๊ตฌํ•˜๋Š” ์ˆ˜์‹์€ VIFkย = 1 / (1 -ย Rj2) ์ž…๋‹ˆ๋‹ค.

์—ฌ๊ธฐ์„œ VIFk ๋Š” k๋ฒˆ์งธ ๋ณ€์ˆ˜์˜ VIF ๊ฐ’์„ ์˜๋ฏธํ•˜๊ณ , Rj2 ๋Š” ํšŒ๊ท€๋ถ„์„์—์„œ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฐ์ •๊ณ„์ˆ˜ ์ž…๋‹ˆ๋‹ค.


[Colab ์‹ค์Šต ๋งํฌ]


โ†ฉ๏ธ ์˜ค๋Š˜์˜ ํŒŒ์ด์ฌ ๋ฆฌ์ŠคํŠธ

#๋ฐ์ด์ฝ˜_101 #AI #๋จธ์‹ ๋Ÿฌ๋‹ #๋”ฅ๋Ÿฌ๋‹ #ํŒŒ์ด์ฌ #ํŒŒ์ด์„ ย  #๋ฐ์ดํ„ฐ๋ถ„์„ #๋ฐ์ดํ„ฐ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ #์ฝ”๋žฉ #Pythonย  #colab #kaggle #pandas #numpy #sckit-learn # read_csv

๋กœ๊ทธ์ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค
0 / 1000
๋‹ค์šค
2021.09.19 16:36

done

์ง€๋‚ด๋‹ˆ
2021.09.29 21:10

โœ…

Holte
2021.10.06 21:00

โœ…

์™ผ์ชฝ๋ˆˆ์น์™์‹ฑ
2021.11.01 16:44

โœ…

changhyeon
2021.12.29 13:51

done

ํ•˜์ž‰๋ฐ”
2022.01.02 20:24

โœ…

moran
2022.01.03 15:59

โœ…

dbnoid
2022.01.18 20:38

โœ…

hijihyo
2022.01.25 15:05

โœ…

ํ˜ธ๋žญ์ด๋ 
2022.01.31 19:56

done

acebed
2022.03.10 21:07

done

ํ•˜๋žด๋žด
2022.03.15 15:13

done

kimgugu
2022.03.27 13:27

โœ…

Kdata
2022.04.29 16:08

โœ…

krooner
2022.05.19 20:45

โœ…

dirno
2022.07.11 00:38

โœ…

์–‘ํ˜„๋ชจ๋“ ์ง€์“ธ์–ด๋ฒ„๋ฆฌ๊ฒ ๋‹ค
2022.07.11 10:51

โœ…

DACON.NPC
2022.08.24 18:23

โœ…

highllight
2023.02.02 12:01

โœ…

๊น€์‹œ์˜ท
2023.05.28 16:11

done+

์ด์ „ ๊ธ€
์ธ๋ฑ์‹ฑ์„ ์œ„ํ•œ Pandas .iloc .loc ์‚ฌ์šฉ ๋ฐฉ๋ฒ• ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ฐ ์กฐ์ž‘์„์œ„ํ•œ
Competition - Python ํŠœํ† ๋ฆฌ์–ผ
Likes 4
Views 1,709
Comments 0
์ผ ๋…„ ์ „
ํ˜„์žฌ ๊ธ€
Lv4 EDA ๋ณต์Šต ๐Ÿง“๐Ÿ‘ด
Competition - Python ํŠœํ† ๋ฆฌ์–ผ
Likes 10
Views 2,408
Comments 20
3๋…„ ์ „
๋‹ค์Œ ๊ธ€
๋‹ค์Œ ๊ธ€์ด ์กด์žฌํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.