HAICon2021 산업제어시스템 보안위협 탐지 AI 경진대회

알고리즘 | 정형 | 이상탐지 | 제어 | TaPR

상금 : 총 2,000만원
901명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[Private 4th, 특별상 1st] MLP Mixer + SAM

Jamm

2022.03.03 14:06 4,093 조회 language

MLP Mixer 논문 마지막에서 본 다른 도메인에서도 쓰일 수 있지 않을까 하는 문장에서 출발해서 만든 모델입니다.
Anomaly Score 에다가 이동평균을 적용해 smoothing 시켰고, 그 값은 optuna 를 통해 반복하여 결정했습니다.
여러개의 모델을 만들어 가중 평균을 하여 최종 결과를 냈는데, 그 weight 역시 optuna 를 이용해 반복하여 결정했습니다.
MLP 모델이 오버피팅이 쉽게 일어나서 그 해결책으로 "When Vision Transformers Outperform ResNets without Pre-training or Strong Data Augmentations" 에서 나왔던대로 Sharpness Aware Minimization 을 사용해 보았습니다.

블로그에도 설명글을 작성하였습니다 : https://jamm-notnull.tistory.com/25

코드