월간 데이콘 기계 고장 진단 AI 경진대회

알고리즘 | 음향 | 비지도학습 | 이상치 탐지 | Macro F1 Score

상금 : 인증서
930명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[PRIVATE : 0.93957 /18등] MFCC (+ 기타) + Scaler + 차원축소 + LOF

권남우

2023.01.16 15:46 2,298 조회 language

* PUBLIC SCORE (0.98224)에서는 우수한 성능을 보였지만 아쉽게도 PRVIATE SCORE (0.93957)는 좋지 못했습니다

* 이에 대한 원인에 관한 개인적인 생각과 개선 방안 (코드 링크) 이 포함되었있습니다 (이상치 조절 및 학습 데이터 양 감소에 따른 문제 발생)

* 이번 대회를 통해 많은 것을 공부할 수 있었습니다 감사합니다

* 이외에 여러 생각과 정리 자료는 다음의 주소에서 확인할 수 있습니다. (https://github.com/namwootree/Breakdown-in-Machine)

* 중요한 건 꺽이지 않는 PRVIATE SCORE

* PUBLIC SCORE에 속아 일반화를 잊지 말자

Process

1. Feature Extraction
  - Zero Crossing Rate (+ delta)
  - RMS (+ delta)
  - Poly Feature
  - MFCC
  - Spectral Flatness

2. Robust Scaling

3. Dimension Reduction
  - Sparse PCA : Zero Crossing Rate (+ delta), RMS (+ delta), MFCC, Spectral Flatness
  - Kernel PCA : Poly Feature

4. LOF

5. 개인적인 생각 + 개선된 알고리즘

코드

댓글 9개

로그인이 필요합니다

comment

0 / 1000

찌니찌니

2023.01.16 16:46

공유 감사합니다. !!! EDA도움 많이 됬습니다

권남우

2023.01.16 16:53

감사합니다. 저의 기억으로는 찌니찌니 팀은 딥러닝 모델을 활용한 것으로 알고 있습니다. 역량이 부족하여 딥러닝으로 수행하지 못하였습니다. 어떻게 수행하셨는지 알 수 있을까요?

허준호

2023.01.17 13:56

저희팀 딥러닝 모델을 사용한 것을 어떻게 아시나요??

글 작성 예정이지만,
MFCC의 각 주파수 Feature를 하나의 unit으로 잡고 VAE를 사용하여 학습하고 결과 도출했습니다.

권남우

2023.01.17 14:14

안녕하세요 허준호님 예전에 토크 게시판에 팀을 구하며 pytorch로 구현하고자 한다는 글을 본 적이 있습니다. 그리고 알려주셔서 감사합니다.

권남우

2023.01.17 14:25

불편하셨다면 사과의 말씀드리겠습니다 죄송합니다

허준호

2023.01.17 15:26

아닙니다! 궁금해서요 ㅎㅎㅎ
기억력 좋으시네요

추후 작성할 코드리뷰에 좀 더 상세하게 적을 예정입니다.
친절한 코드 설명 감사합니다

권남우

2023.01.17 15:53

딥러닝을 활용한 Anomaly Detection에 관심이 많습니다. 감사합니다.

David2do

2023.01.17 16:15

찌니찌니님 팀은.. MFCC 각 주파수 기반 VAE 사용하셨군요..
MFCC/Chroma_stft 평균을 사용하여 VAE, LSTM VAE, AE, LSTM AE, +attention 등까지 사용해봤는데.. public 96을 넘지 못했었는데.. 좀 더 디테일한 주파수에 답이 있었군요^^;; 하나 또 배워갑니다.

권남우

2023.01.17 00:31

피처 추출 과정에서 산술평균 대신 절사평균을 사용하는 것 또한 일반화에 도움이 된다고 생각합니다 (단, PUBLIC SCORE는 낮아지는 것으로 기억합니다)

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!