월간 데이콘 신용카드 사용자 연체 예측 AI 경진대회

알고리즘 | 정형 | 분류 | 금융 | LogLoss

Prize : 100만원
3,757명 마감

Practice

Overview Data Code (share) Talk Leaderboard

Submission

TabNet으로 정형데이터를 위한 딥러닝을 만들어보았습니다!

datu

2021.04.12 21:40 20,127 Views language

안녕하세요. 이번 대회는 사실 순위에 상관없이 여러가지 딥러닝으로 구현해보고 싶은 마음에 이 대회에 참가하게 되었는데요.
항상 다른 대회에 참가하면서도 베이스라인에 너무 의존하고 있는거 같아 코드 구현에 목적을 두고 있습니다.
이번에는 TabNet이라는 인공신경망 모델로 한번 구현해보았습니다.
TabNet은 순차적인 어텐션(Sequential Attention)을 사용하여 각 의사 결정 단계에서 추론할 feature를 선택하여 학습 능력이 가장 두드러진 기능에 사용되므로 효과적인 학습을 가능하게 한다고 하더군요... (아직 저도 열심히 공부중입니다)
점수가 좋게 나오지는 않았더라구요... 하지만 누군가한테는 도움이 되었으면 좋겠다는 생각에 한번 올려봅니다.
제가 참고한 사이트를 첨부해 놓겠습니다.
다들 대회 파이팅입니다 ㅎㅎ

참고 사이트
https://lv99.tistory.com/83

Code

Comments 15개

로그인이 필요합니다

comment

0 / 1000

10duck

2021.04.12 21:56

플로로만 사용해봤었는데 토치버전도 있었네요!
성능이 좋지 않은 이유로는 sparsity coefficient 설정의 부재와 decision step을 하나만 사용하셔서 그런게 아닌가 싶네요
decision step은 tree구조의 depth를 생각하시면 되고, sparsity coef는 tree와 다르게 동시에 고려할 feature의 갯수들을 조절하는 역할을 해요
tuner를 사용해서 hyper parameter search를 시도해보면 좋은 결과가 나올수도 있을 것 같네요
토치버전 공유해주셔서 감사합니다

datu

2021.04.12 21:57

오 그렇군요! 저도 방금 막 만들어가지구... 조금더 공부하고 개선해서 다시한번 올려보도록 하겠습니다!
조언 너무 감사해요!