건설기계 오일 상태 분류 AI 경진대회

알고리즘 | 정형 | 건설기계 | 분류 | Macro f1 score

  • moneyIcon 상금 : 1,000 만원
  • 1,442명 마감

 

Knowledge Distillation with Unsupervised AutoEncoder

2022.12.09 18:14 2,720 조회 language


안녕하세요 USAD (UnSupervised AutoEncoder) 알고리즘을 제 멋대로 개량하여 
Train 환경과 다른 제한된 Test Features를 가지고도 추론할 수 있게 지식증류 방법론을 적용한 Code 입니다. 
그런데, 현 상태로써는 성능이 나오지 않습니다 ㅠㅠ 
그러나 아이디어를 공유 드리면 남은 대회기간 동안 여러분께 
조그만 Insight 라도 드릴 수 있지 않을까 싶어 코드 공유 올립니다. 
(첨부된 ipynb 말고 Github repo. 주소로 들어가서 보세요 .py 파일은 못올린다해서)

Project 구조:
    - /data
    - /result                          모델 가중치가 저장된 곳
    - model.py                    AutoEncoder 모델이 정의된 객체
    - utils.py                        기타 함수
    - DataLoader.py        Raw data를 network Input으로 만들기 위한 객체
    - train_teacher.py     Teacher Model 학습 Code (Full-dataset으로 AutoEncoder 학습)
    - train_student.py Student Model 학습 Code (지식증류적용, Teacher의 Output을 복원 대상으로 하여 Student 학습)

# Student 학습 시 정답 값으로 Teacher의 LatentVector도 모방하도록 설계하려 했으나 시간 문제 상 어려울 것으로 판단하여 중단했습니다

글쓴이의 공유 코드 Github repo. 
https://github.com/K-imlab/KDUAD

reference 
참고 논문: Audibert, J., et al. (2020, August). Usad: Unsupervised anomaly detection on multivariate time series.  

PDF
코드
로그인이 필요합니다
0 / 1000
harrison_kim
2022.12.09 18:18

딥러닝 및 비지도학습으로 이 대회를 타파하기엔 힘들어보입니다. 샘플 수가 적기도 하고요,
혹시 딥러닝으로 순위권에 든 분 계시다면 비법 좀 전수 해주세요

우왕여긴어디일까요
2022.12.22 00:49

TabNet 쓰면 가능성 있을 것 같아요

cykim
2022.12.11 16:33

저도 AE 활용하는 방법 생각해봤었는데 반갑네요

우왕여긴어디일까요
2022.12.22 00:48

for x, label in label_test_loader:
    w1, w2, w3 = teacher_AE.predict(x)
부분에서 원래 shape 매치 안되는 에러 나오나요?

harrison_kim
2022.12.22 09:38

동작 잘 될 겁니다만.. 혹시 입력에 대한 shape 에러 였나요

우왕여긴어디일까요
2022.12.22 21:02

네 shape 에러였어요