Security Risk Prediction through Log Analysis AI Competition

Chinese University of Hong Kong에 있는 LogPAI(http://www.logpai.com/) 단체에서 로그 분석 관련 연구를 대략 14년도 부터 지속적으로 해온 것 같습니다. 주말동안 관련 내용 Follow up하면 이번 대회를 시작하고 이해하는데 도움 될 수 있지 않을까 생각됩니다.

1. Loghub 깃헙 레포: A large collection of system log datasets for AI-powered log analytics (LogPAI에서 구축)
2. Loghub 논문 (2020): 4절에서 loghub 데이터에 기존에 존재했던 이상 탐지 방법론을 적용한 case study가 소개되며, 다음과 같이 결론을 맺습니다. 물론 본 대회랑은 실험 환경이 달라서, 선별적으로 받아들여야 할 것 같습니다. First, the unsupervised approaches are not as accurate as the supervised approaches. Thus, an accurate unsupervised anomaly detection approach is highly in demand. Second, in practice, the number of anomalies is much less than that of normal instances. In industry, a system may only encounter 1 anomaly in a year, which makes supervised approaches ineffective. Thus, how to design an anomaly detection approach that does not require historical abnormal instances remains an important and challenging problem. 
3. Logparser 깃헙 레포: A toolkit for automated log parsing (본 대회 데이터셋에 사용 가능할 지..?)
4. awesome-log-analysis: 로그 분석,이상치 탐지 등에 대한 논문 정리된 깃헙 레포