HAICon2021 산업제어시스템 보안위협 탐지 AI 경진대회

알고리즘 | 정형 | 이상탐지 | 제어 | TaPR

상금 : 총 2,000만원
903명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[HAICON2021] feature attention을 이용한 lstm

오리도리

2022.03.02 12:36 4,284 조회 language

안녕하세요. 먼저 좋은 대회 열어주셔서 감사합니다.

아래 코드는 기존의 back-bone이었던 lstm에 특정 feature를 강조할 수 있도록 attention[1]을 적용했습니다.
그리고 마지막에 residual-connection을 할 때, learnable한 비율[2]을 통해서 진행했습니다.

대회 당시에 Transformer와 같은 inductive bias가 낮은 모델들을 이해하지 못해서 적용하지 못했지만, 이를 적용하면 좋은 결과를 얻을 수도 있을 것 같습니다.
+) 코드 설명에 Transformer가 성능이 좋지 않았다고 되어있지만, 이는 Transformer 코드를 잘못 짜서 그렇습니다.

참고 논문
[1] Woo, S., Park, J., Lee, J. Y., & Kweon, I. S. (2018). Cbam: Convolutional block attention module. In Proceedings of the European conference on computer vision (ECCV) (pp. 3-19).
[2] Wu, H., Qu, Y., Lin, S., Zhou, J., Qiao, R., Zhang, Z., ... & Ma, L. (2021). Contrastive learning for compact single image dehazing. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10551-10560).

코드