AI Challenge for Industrial Control System Threat Detection

Algorithm | Structured | Anomaly detection | Control | TaPR

  • moneyIcon Prize : Total 2,000만원
  • 2021.08.02 ~ 2021.10.22 18:00 + Google Calendar
  • 906 Users Completed

 

[HAICON2021] feature attention을 이용한 lstm

2022.03.02 12:36 5,200 Views language

안녕하세요. 먼저 좋은 대회 열어주셔서 감사합니다.

아래 코드는 기존의 back-bone이었던 lstm에 특정 feature를 강조할 수 있도록 attention[1]을 적용했습니다.
그리고 마지막에 residual-connection을 할 때, learnable한 비율[2]을 통해서 진행했습니다.

대회 당시에 Transformer와 같은 inductive bias가 낮은 모델들을 이해하지 못해서 적용하지 못했지만, 이를 적용하면 좋은 결과를 얻을 수도 있을 것 같습니다.
+) 코드 설명에 Transformer가 성능이 좋지 않았다고 되어있지만, 이는 Transformer 코드를 잘못 짜서 그렇습니다.

참고 논문
[1] Woo, S., Park, J., Lee, J. Y., & Kweon, I. S. (2018). Cbam: Convolutional block attention module. In Proceedings of the European conference on computer vision (ECCV) (pp. 3-19).
[2] Wu, H., Qu, Y., Lin, S., Zhou, J., Qiao, R., Zhang, Z., ... & Ma, L. (2021). Contrastive learning for compact single image dehazing. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10551-10560).

Code
Login Required
0 / 1000
도비콘
2022.03.02 16:28

오리 도리 님 공유 감사합니다.~