Burned Calories Prediction AI Hackathon

Algorithm | Tabular | Regression | Health | RMSE

Prize : 인증서
2023.04.10 ~ 2023.04.24 10:00 + Google Calendar
711 Users Completed

Practice

Overview Data Code (share) Talk Leaderboard

Submission

선형회귀외 비선형회귀(SVR, KRR) 비교

깨비아빠

2023.10.31 15:02 2,012 Views language

Polynomial Features 검색하다가 오게되었습니다!
이미 끝난 대회지만 선형회귀와 비선형회귀 테스트해본 내용을 올려봅니다.

모델 정확도 높이는 것 보다는 데이터 탐색과 선형/비선형회귀 모델 테스트 위주로 작성했습니다.

Code

2 Comments

comment

0 / 1000

설빙더아이스

2023.12.06 19:15

좋은 분석 글 감사합니다. SVR의 kernel 파라미터의 default가 'rbf'인 것으로 알고 있는데 이것을 'poly'로 바꾸면 polynomial Features를 사용한 것과 비슷한 효과가 날 것 같습니다. 실험 결과가 궁금한데 혹시 이 부분에 대해서 실험한 결과가 있을까요??

깨비아빠

2023.12.06 23:52

안녕하세요!
polynomial 커널에 degree 3을 사용하면 (gamma*<x,x'> + r)^3을 전개한 차원의 피쳐공간으로 변환하게 되므로 저도 비슷한 효과가 날 것 같습니다.
그런데, rbf 커널은 무한차원인 피쳐공간으로의 변환이므로, 단지 복잡한 분포의 데이터를 적합시키기 위함이라면 rbf도 나쁜 선택은 아닐 것 같습니다.
이번 분석 연습은 모델 정확도를 올리려는 건 아니어서 심지어 검증 데이터 분리도 안했는데요... GridSearchCV나 optuna로 최적 파라미터를 찾아보면 정확도가 좀 더 개선되지 않을까 싶습니다.
혹시 나중에라도 테스트해보게 된다면 다시 공유드리겠습니다.
감사합니다!

📣 The comment input field has been moved to the top of the comment list!

List

No Previous Post

Current

선형회귀외 비선형회귀(SVR, KRR) 비교

Competition - 칼로리 소모량 예측 AI 해커톤

Likes 9

Comments 2

2yr ago

[Private 4위_정새] - 특성 공학, 특성 선택 및 AutoML 활용

Competition - 칼로리 소모량 예측 AI 해커톤