월간 데이콘 위성 영상을 활용한 북극 해빙 예측 AI 경진대회

Private 1위, Private 4.29164점, KNeighborsRegressor

2021.04.15 20:56 6,263 조회 language



안녕하세요 Minh입니다.

코드 설명에 앞서 작업한 환경은 코랩과 펜티엄 노트북(GPU X), I5 4세대 데스크탑(GPU X)입니다.



위성 영상을 활용한 북극 해빙 예측 AI 경진대회에서 제가 중점적으로 고민한 것은 이미치 처리와 예측(회귀) 방식입니다.

먼저 이미지 처리에 대한 가정은 데이터의 원상태보존입니다. 
여기서 원상태보존은 데이터 전처리와 모델이 작동하는 모든 과정에서 데이터 자체가 결손되거나 압축되지 말아야함을 의미합니다.
이는 북극 해빙 사진의 각각의 픽셀들은 다른 픽셀들과 서로 연관성을 가진다고 생각하였기에 위와 같은 가정을 내렸습니다.

다음으로 예측(회귀)입니다. 
예측에서 내린 가정은 북극해빙의 각각의 픽셀들은 제각각 변하는 것이 아니라 어느 지점들을 중심으로 변한다는 것입니다.
북극 해빙은 위치 변화없이(고정된 위치) 녹기만하는 것이기에 각각의 지점을 중심으로 변할 것이라 가정했습니다.

위와 같은 가정으로 생각한 많은 모델 중 점수가 높은 모델은 KNN(K-Nearest Neighbor)이며,  
KNN 알고리즘 중 회귀분석이 가능한 KNeighborsRegressor 모델을 주 모델로 사용하였습니다.

코드
로그인이 필요합니다
0 / 1000
Jamm
2021.04.16 00:28

제목 보고 에..?? 하고 들어왔는데... 와... 좋아요를 한번만할수있는게 아쉽네요. 
ConvLSTM 안돌아간다고 vram 탓하고있는 제가 참 못나보입니다...
축하드립니다! 정말 대단하세요...!!!!!!!

Minh
2021.04.17 14:44

감사합니다 (*^▽^*)
KNN 계열의 모델이 수행하는 계산이 1차원이 아닌 다차원에서 가능하기에 
2차원의 이미지 데이터를 잘 예측한 것 같습니다!

윤기석
2021.04.16 01:08

상상도 못했던 모델이! ㄴㅇㄱ

Minh
2021.04.16 22:41

일반적인 머신러닝도 딥러닝 계열 못지않게 예측을 잘 해주더라고요!!

Saturday.K
2021.04.16 01:56

문제 분석에 따른 모델 선정이 멋지네요~ 축하드립니다.

Minh
2021.04.16 22:42

감사합니다 (*´▽`*)

떼굴떼굴도토리
2021.04.16 15:51

와 정말 상상도 못했던 모델이네요! 진짜 대단하세요!!

Minh
2021.04.16 22:43

고맙습니다 (๑>ᴗ<๑)

DACON.Dobby
2021.04.16 18:05

고생하셨습니다. 상상하지 못했던 방법이네요.

Minh
2021.04.16 22:45

감사합니다  ◡̈⋆*

최정명
2021.04.16 21:01

정말 대단합니다 !
참신하게 접근을 하셨네요. 많이 배우게 되네요...
어쩌면 누구나 머신러닝을 접하면 한 번 쯤 배우는 알고리즘이지만 신경망 기반 모델이 더 좋겠지 생각하고 대부분 시도를 안 해 보셨을것 같아요. (저 또한..)
본 대회가 진행되면 어떤 참신한 알고리즘이 더 나올지 기대되네요 ㅎㅎ 

축하드립니다.

Minh
2021.04.17 14:46

감사합니다 ( ¨̮ )
저도 시작은 신경망 기반의 모델이었습니다. 
다만 Cost가 많이 들어가 ㅠ.ㅜ

알맞은 노드 속성과 적절한 loss function-activation function, 
충분한 epoch를 구할 수 있을 만큼 대회의 기간이 길면 
신경망계열을 일반적인 머신러닝 기법이 따라가지 못할 것으로 예상합니다.  
하지만 이런 예상을 깨줄 참신한 알고리즘은 본 대회에서 저도 기대합니다!!

Junho.PARK
2021.04.17 08:26

축하드립니다. 결국 해내셨군요.^^ 저도 올려야하는데 주석달기 귀찮네요...ㅠㅠ

Minh
2021.04.17 15:00

감사합니다  (ˊᗜˋ*)
처음 코드 공유를 해보았는데, 
코드를 설명하는 주석이 고민을 많이 해야하는 작업이더라고요 ㅠ.ㅜ

제출수늘려주세요
2021.04.28 17:08

한 수 배웠습니다. 감사합니다.

Minh
2021.04.29 01:55

부족하지만 도움이 되신다니 다행입니다.
감사합니다 (*^▽^)

당쇠
2021.04.28 17:13

Minh 님 1위 축하 드립니다. 

Minh
2021.04.29 01:57

감사합니다 \( ˆoˆ )/​
그 혹시 이 경진대회도 대회 인증서가 나오는 지에 대해 문의드려도 괜찮을까요?

당쇠
2021.04.29 20:46

네 인증서 발급 예정입니다

와퍼세트
2021.06.02 14:11

혹시 어떻게 KNN을 생각했는지 여쭤 볼 수 있을까요? 처음부터 KNN을 생각하시고 코드를 작성하신건가요?

접근 방식과 아이디어가 경이롭습니다.

Minh
2021.06.03 17:47

초반에는 KNN에 대해 크게 생각하지 않았습니다.
이미지 데이터이지만 일반적으로 생각되는 분류 문제가 아닌 
각 픽셀 하나하나의 회귀와 각 픽셀들 사이의 연관성으로 움직이는 회귀문제라고 생각했기에 
이를 잘 해결해 주는 것이 DNN계열이라 생각하였고, 여러번 시도했습니다만 
GPU없이는 힘들다는 것을 알았습니다  ㅠ.ㅠ
이에 위의 생각을 적절히 해결해줄 머신러닝 계열을 찾던 중 KNN Regressor 모델을 찾은 것입니다.
KNN모델도 초기에는 파라미터 설정을 하지 않아 성능이 처참했습니다만,
이에 지속적인 파라미터 최적화를 통해 좋은 결과가 나온 것 같습니다. (*^▽^*)

류현욱
2021.06.14 23:39

안녕하세요. 고등학교 교사입니다.
너무 대단하십니다.
코드 사용 관련해서 문의드리고 싶어 댓글 남깁니다.
상업용 교재가 아닌 고등학생용 인공지능 보조교재를 개발하고 있는데 코드를 사용해도 괜찮을까요?

Minh
2021.06.15 17:28

네 상업용이 아니라면 편히 사용하셔도 됩니다. ˙ᵕ˙

류현욱
2021.06.24 10:46

감사합니다~

이전 글
📣 [DACON] 제출 API 사용법
대회 -
좋아요 0
조회 7
댓글 0
3년 전
현재 글
Private 1위, Private 4.29164점, KNeighborsRegressor
대회 - 월간 데이콘 위성 영상을 활용한 북극 해빙 예측 AI 경진대회
좋아요 42
조회 6,263
댓글 24
3년 전
다음 글
데이콘 제출 API 사용법.
대회 - 주차수요 예측 AI 경진대회
좋아요 0
조회 62
댓글 0
3년 전