시스템 품질 변화로 인한 사용자 불편 예지 AI 경진대회

안녕하세요, 세아아부지입니다.

뭐든 1등을 해본 기억이 가물가물한데, 잠시겠지만 리더보드 1등 기념으로 분석 방향을 공유합니다.

1. 변수의 시점

   데이터의 시점 문제는 항상 고민이 많이 필요한 부분입니다.

   train 데이터는 세 종류가 있는데요, problem 데이터에 실제 고객이 불만을 제기한 시점이 등장합니다.

   이 고객은 분명 그 시점 이전에 발생한 error나 quality 문제로 불만을 표했을 것입니다.

   그런데 error, quality 데이터에는 그 이후 시점의 내용이 모두 포함되어 있고 Test 데이터 역시 마찬가지입니다.

   Test 데이터의 고객 중에서 불만을 제기한 사람은 있겠지만, 언제인지는 우리가 알 수 없습니다.

2. 시점과 관련된 데이터 처리

   그래서 저는 불만접수 시점 이전의 로그만 활용해서 모형을 만들었"었"습니다.

   Validation 기준 0.9에 가까운 AUC가 나오더라구요. 그런데, 제출해보니 스코어가 0.7이 나오더라구요.

   뭔가 알고리즘에 오류가 있나 싶어서 모형을 바꿔 2번 더 제출했는데도 스코어가 0.7이 나왔습니다.

   비슷한 점수대가 있는걸 보면, 그분들도 비슷하게 접근하신 것 같네요.

3. 당연한 결과

  그런데 이걸 곰곰히 생각해보니 당연한 결과같더라구요.

  Test 데이터에는 불만 제기 이후의 정보도 담겨 있는데, 모형은 불만 제기 이전의 정보만 활용하니까 성능이 안좋을 수 밖에 없죠.

  단순 집계만 해봐도 불만 고객들은 error 로그 개수 자체가 많은 걸 확인할 수 있으니까요.

  (그래서 굉장한 데이터 처리없이 단순 집계만 활용하는 baseline 성능이 0.8 이나 나온 것 같네요)

   시점에 상관없이 전체 관측치를 모두 활용했고, 간단한 파라미터 튜닝을 하니 결과가 잘 나왔네요.

사실 이렇게 모형을 만들면 실제 "사용자 불편 예지"에 활용하는데는 어려움이 있을 수 밖에 없습니다.

모형에 불편 발생 이후의 정보도 함께 들어가 있으니까요.

점수 기준 분석대회라서 어쩔수는 없지만 아쉬운 부분이긴 하네요.

지금 스코어는 전체 테스트 데이터 중 1/3만 활용한 것이더라구요.

아마 시간이 지나면 스코어는 비슷해지고 실제 결과는 한끗차이가 일 것 같네요.

어느 정도 복불복 상황을 감안해서 데이터 전처리에 대한 컨셉을 잘 잡는 것이 중요할 것 같습니다.

그리고 스코어에 상관없이 시점을 고려한 모형도 만들어 보시면, 데이터에 대한 이해와 전처리에 대한 힌트를 얻을 수 있을 것 같습니다.