Thyroid Cancer Diagnosis Classification Hackathon : Accurately distinguish between benign and malignant using AI!

B.S. in Physics from UCLA, 각종 올림피아드(USACO, KOI, AMC) 및 DSA(LeetCode) 튜터 합니다.

https://www.linkedin.com/in/issac-han-523819198 링드인 프로파일을 보시고 관심있으시면 연락주세요.

마지막에 큰 등수변동을 통해 수상하게되어 대회에 희열을 맛본거 같습니다.

코드공유에서도 언급하였으나, 리더보드의 F1 score 가 0.51에 몇백명이 포화되어있고 간격이 매우 좁아 plauteau region을 형성했다고 보았습니다. 또한 0.51이란 낮은 스코어가 다음과 같은 의미를 시사했습니다;

1. 코드공유에서 소개된 SMOTE같은 Data augmentation을 쓰기에는 데이타의 질이 좋지않고 F1 스코어 특성상 잘못 label된 데이타가 training set에 들어가서 주는 영향이 unsymmetrical 하다고 판단을 하였습니다. 따라서 K-fold와  같은 보수적인 알고리즘을 사용을 하였습니다.
2. public score를 올리는 것보다 local score에서 과적합을 방지하는게 더 중요하다고 여겨서 과적합 방지요소를 강하게 넣었습니다(Dropout(0.4), batchnorm).
3. 특히 Local 0.48대 public 0.51이 시사하는 바는 (PAC 모델에서 시사하는) 중요한 데이타가 Local에 더 가깝다고 생각했습니다. 구분이 쉽고 점수를 올리는 테스트셋보다 구별이 어려워 fine tuning이 필요한 local data가 시사하는 바가 더 크다고 생각했습니다.

저는 dnn 모델을 직접만들어서 사용하고 hyperparameter도 보편적인 수치를 사용 하였습니다. 저는 교육적 목적으로 참가하였고 XGboost나 Catboost같은 모델을 튜닝한게 더 높은 결과가 나올거라고 생각을 하였으나 의외로 손으로 만든 SGD(adam), dnn이 더 높게 평가되어 놀랐습니다. 이상입니다.