분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Self Attention을 이용한 코드
Colab 환경에서 구현한 코드입니다. 많이 부족할텐데 이것저것 코멘트 남겨주시면 정말 좋을 것 같습니다 ㅎㅎ
Self-Attention을 활용한 LSTM 모델입니다. Transformer도 구현해보았는데 이상하게 이 코드보다 성능이 나오질 않네요 ㅜㅜ
대회 준비하신 모든 분들 수고 많으셨습니다.
저도 이번대회에서는 적당히 sequence만 사용해서 roberta-base 적용해봤는데 0.647정도 나오네요.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
코드 공유감사합니다. Lstm에 attention 적용한 결과도 궁금했었는데 배워갑니다. 저는 gpu를 자유롭게 쓸수 있는 환경이라 transformer를 좀 크게 만들었는데 public 0.64정도의 성능이 나왔습니다. 추후 코드 공유 진행하겠습니다. 다른 분들 결과를 보니 disease나 assay 관련 정보가 중요했던거 같네요 ㅠㅠ