분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Private 1위] Multi-Layer Perceptron 모델, Target Encoding
안녕하세요 헣정우님의 코드를 참고하여 여러가지 실험을 하며 최적의 MLP 모델을 만들었습니다.
인풋 레이어의 차원을 더 늘려보기도 하고 아웃풋레이어를 축소해보기도 했고 최적화 알고리즘을 Adam, SGD 등을 써보기도 했봤는데, 256차원까지 늘리고 아웃풋 레이어 두개로 축소시키는 게 제일 나았고, 드롭아웃은 적용안하는 게 제일 성능이 좋았습니다. 최적화 알고리즘은 AdamW가 제일 좋았습니다.
파생변수는 생성해봤지만 성능이 좋아지지 않았습니다.
제일 의문이었던건 이진 분류 모델에서 손실 함수를 BCEWithLoss()가 아닌 MSELoss()쓰는 게 제일 좋았는데요, 이는 출력 텐서의 형태가 sigmoid를 거쳐서 0~1사이의 proba 형태로 나오기 때문인가 싶습니다. 이에 대해 알고 계신분들은 지식 공유해주시면 감사하겠습니다!
읽어주셔서 감사합니다!
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved