난임 환자 대상 임신 성공 확률 예측 AI 오프라인 해커톤

<하은 없는 하은팀> 예선 3위, 본선 12위

안녕하세요. 하은없는하은팀 리더, 코난2 심재현이라고 합니다. 
먼저 대회에 참가하신 모든 분들 정말 고생많으셨습니다. 배울 점이 많았던 대회였습니다.

평가 Metric에 대한 정밀한 분석이 중요하단 것을 더 크게 느낄 수 있었던 본선이었습니다.

본선은 예선에서 만든 파생변수를 활용하기 힘들었고, 다시 전처리부터 돌아가서 모델까지 살펴봐야했습니다. 여부를 예측하던 예선과 달리 본선은 확률을 예측하는 방식으로 평가 방식이 바뀌어 당황했었습니다.

MSE에 가중치를 두는 Brier score는 처음 평가 지표로 사용해봤기에 어떤 모델과 loss function을 정해야할지부터 의아했습니다. Brier score와 더불어 f1 score를 동시에 최적화할 방안에 대한 고민도 꽤 깊이 했었습니다. 

다양한 Regressor와 Classifier를 살펴보고 나서 베이스 성능이 좋지않아 DL을 시도했습니다. 3개의 Layer와 Batch nomalization, Relu를 활용해 기본에 충실한 DL로 테스트를 실험해봤을때 베이스가 괜찮게 나와 방향을 베이스로 잡고 시작했습니다. 

최종 성능 제공해준 평가 함수에서 약간의 수정(forward 부분 (target -0.1) -> noise 고려, FP 줄이고자) 을 통해 성능이 하나의 모델로 100epoch 진행하였을때 best 10 model 기준 0.6616 으로 나왔으나 이후 큰 수정을 가하진 못해 더 점수를 올리진 못해 예선과 달리 아쉬운 성적을 얻은 것 같습니다.

Adam, SGD, RMSprop,momentum 등 여러 optimizer를 적용해보며 competition score 에 튜닝을 진행하여 성능을 올리긴했지만, f1 score 때문인지 한계에 부딪혔었습니다.
<Linked In 글 링크> : https://www.linkedin.com/feed/update/urn:li:activity:7315678123763589120