2022 AI 대학원 챌린지

LG | 채용 | B-cell | Epitope | Classification | macro-f1

상금 : 총 2,500만원
304명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

Self Attention을 이용한 코드

ZINZINBIN

2022.07.29 19:04 1,276 조회 language

Colab 환경에서 구현한 코드입니다. 많이 부족할텐데 이것저것 코멘트 남겨주시면 정말 좋을 것 같습니다 ㅎㅎ
Self-Attention을 활용한 LSTM 모델입니다. Transformer도 구현해보았는데 이상하게 이 코드보다 성능이 나오질 않네요 ㅜㅜ
대회 준비하신 모든 분들 수고 많으셨습니다.

코드

댓글 2개

로그인이 필요합니다

comment

0 / 1000

안녕해요

2022.07.29 21:17

코드 공유감사합니다. Lstm에 attention 적용한 결과도 궁금했었는데 배워갑니다. 저는 gpu를 자유롭게 쓸수 있는 환경이라 transformer를 좀 크게 만들었는데 public 0.64정도의 성능이 나왔습니다. 추후 코드 공유 진행하겠습니다. 다른 분들 결과를 보니 disease나 assay 관련 정보가 중요했던거 같네요 ㅠㅠ