칼로리 소모량 예측 AI 해커톤

※ 이 코드는 tensorflow 버전이 2.12입니다! (그 이상 버전이 되는지는 확인을 못했습니다.)
운이 좋았다고 밖에 말을 못 하겠습니다. 처음에는 catboostregressor만 고집하여 0.5 초반에 머물다가 [Private 26등] KBSU 님께서 MLP 모델에 대해서 토크해 주셔서 0.35까지 성능을 개선했습니다. 이후에는 그렇다 한 전략이 보이지 않아 직접 커스텀 하는 게 좋다고 생각이 들어 mlpregressor 모델이 아닌 직접 모델을 만들기로 마음먹었습니다.
우선 optimizer를 바꿔보자는 생각이 들었습니다. ndam, AdamMax, SGD ... 기타 등등 optimizer를 바꾸다 AdamW 일 때가 성능이 좋았습니다. 추가적으로 활성화 함수도 relu, gelu, mish를 써봤는데 mish가 근사하게 더 좋은 결과를 보여줬습니다. 이후에 동일한 모델을 train_test_split에서 random_state만 바꿔서 앙상블 하여 0.31까지 줄였습니다. 마지막에는 round 함수를 적용하여 구간을 조절하면서 점수를 확인했는데 0.4이하 0.6 이상에 적용했을 때가 rmse가 가장 낮게 나왔습니다.