오랜만에 순위권에 들어서 정말 기쁩니다.

여러 대회에 참여하다보면 Score의 벽을 만나는 경우가 많은데, "도대체 저 위에 있는 사람들은 어떻게 한 거지?"하는 의문이 들 때가 많았습니다.

이번 대회에도 큰 점수의 벽이 있어서, 지난 대회들의 저 같이 진짜 순수하게 궁금한 분들을 위해 미리 몇가지 내용을 공유합니다.

1. 외부데이터 vs 알고리즘 vs 데이터 처리

일반적으로 점수 벽이 생기는 이유는 외부 데이터 활용,  사용한 알고리즘의 종류와 특성, 파생변수 생성 등 데이터 처리 등으로 나뉩니다.

먼저 이 대회에서는 외부 데이터를 활용할 수 없습니다.

남은 것은 알고리즘과 데이터 처리인데, 대회 제목인 "이상 감지"가 함정입니다.

2. "관망 이상"의 정의

많은 팀이 이상 감지를 위해 anomaly detection에 특화된 알고리즘을 활용했을 것 같습니다.

autoencoder류로 모형을 적합하고 관망A, B를 활용해 임계값을 설정하는 방향이었을 것 같네요.

혹은 LSTM 류의 시계열 모형을 적합하고, 예측값과 실제값의 차이로 이상 지점을 찾는 것도 가능합니다.

대회의 이상향, 큰 꿈은 그런 방향이 맞지만 현실적으로는 실제 데이터에서 "anomaly", "flag"의 값이 1인 관측치를 설명하는 것이 목표입니다.

현실적인 대회 주제는 "K-water가 설정한 anomaly의 기준 찾기"라고 생각할 수 있습니다.

3. 우리 팀의 방향

많은 사람들이 비슷한 알고리즘으로 시도를 했는데, 스코어가 매우 낮다는 것은 그 방법은 K-water의 기준과는 맞지 않다고 해석할 수 있습니다.

저희도 몇 가지 방법을 탐색했는데, 결국에는 아주 단순한 규칙 기반 이상 기준을 설정했습니다.

anomaly를 탐색할 때 별도의 알고리즘을 활용하지 않고 4개의 if 조건문만 활용합니다.  

4. 우리 팀의 파생 변수

이제 남은 것은 파생 변수, 데이터 처리입니다.

if 조건문에 어떤 변수로 어떤 조건을 설정할 것인가가 중요한 것이죠.

압력계 P에 대해 이상 여부를 판단해야 하는데, P보다는 오히려 Q를 잘 봐야합니다.

아직 대회가 끝난 것이 아니라서 자세히 이야기하기는 어렵지만 관심이 있으신 분들은 관망A에서 "Q1+Q2+Q3+Q4"와 "Q5"를 함께 보시면 됩니다.

자세한 내용은 목요일에 한번 더 공유하겠습니다.

저희야 순위권에 들어있어서 행복하지만, 많은 참가자가 아쉽고 좀 짜증나는 상황일 것 같습니다.

이대로 끝나면 아쉬우니까 순위에 상관없이 다양한 아이디어를 서로 공유할 수 있으면 좋겠습니다:)