학습 플랫폼 구독자 예측 AI 해커톤

알고리즘 | 정형 | 분류 | 웹 | Macro F1

  • moneyIcon 상금 : 인증서
  • 730명 마감

 

[Private 1위] Multi-Layer Perceptron 모델, Target Encoding

2023.12.14 09:15 1,702 조회 language

안녕하세요 헣정우님의 코드를 참고하여 여러가지 실험을 하며 최적의 MLP 모델을 만들었습니다.
인풋 레이어의 차원을 더 늘려보기도 하고 아웃풋레이어를 축소해보기도 했고 최적화 알고리즘을 Adam, SGD 등을 써보기도 했봤는데, 256차원까지 늘리고 아웃풋 레이어 두개로 축소시키는 게 제일 나았고, 드롭아웃은 적용안하는 게 제일 성능이 좋았습니다. 최적화 알고리즘은 AdamW가 제일 좋았습니다. 
파생변수는 생성해봤지만 성능이 좋아지지 않았습니다.
제일 의문이었던건 이진 분류 모델에서 손실 함수를 BCEWithLoss()가 아닌 MSELoss()쓰는 게 제일 좋았는데요, 이는 출력 텐서의 형태가 sigmoid를 거쳐서 0~1사이의 proba 형태로 나오기 때문인가 싶습니다. 이에 대해 알고 계신분들은 지식 공유해주시면 감사하겠습니다!
읽어주셔서 감사합니다!

코드