HAICon2020 산업제어시스템 보안위협 탐지 AI 경진대회

TaPR 질문입니다.

2020.08.12 16:30 6,520 Views

안녕하세요.


현재 hai 1.0 데이터로 분석을 진행해봤습니다.

진행을 하던 도중, 아래와 같은 상황은 TaPR이 detected anomaly로 판단하지 않는것 같습니다.



제가 개발한 분석 모델의 anomaly prediction 결과 :

구간 : [106380:106540]

 array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0])


hai 1.0 검증 데이터의 anomaly data :

구간 : [106380:106540]

array([0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0,
       0, 0, 0, 0, 0, 0])


이와 같이 제가 개발한 모델이 2초동안 anomaly라고 판단했는데, TaPR은 이를 디텍션헀다고 보지 않고 있습니다.


이 부분 관련해서 답변부탁드립니다.

로그인이 필요합니다
0 / 1000
saurfang
2020.08.13 12:21

Detected anomalies에서 해당 공격(anomaly)이 포함되지 않는 이유는 이 공격의 전체 길이에 비해 탐지된 구간이 너무 짧기 때문입니다. tapr은 임계값 이상의 비율을 탐지하는 경우에만 탐지에 성공한 것으로 간주하고 있습니다.

strong_doublekw
2020.08.14 07:46

말씀하신 임계값 수치는 어떻게 되나요?

saurfang
2020.08.14 09:26

0.1 입니다. 말씀하신 예에서 공격의 길이는 151이므로 이 중 15초 이상을 찾아내야 탐지에 성공한 것이 됩니다.