월간 데이콘 TV 손동작 제어 인식 AI 경진대회

알고리즘 | 동영상 | 비전 | 분류 | Macro F1 Score

상금 : 인증서
578명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[Private 13위] r2plus1d model

도놀드

공동작성자

2023.02.06 17:53 2,116 조회 language

[코드 개요]
- Pytorch의 r2plus1d(Video Resnet) 모델을 사용함.
- 동영상 전처리는 r2plus1d의 pretrained model 학습에 사용된 룰을 적용하였음.
- pretrained model을 사용하였으며, weight은 pytorch에서 제공되는 r2plus1d의 기본 weight을 사용함(Kinetics400 Dataset).
- 추가적으로, Mediapipe 패키지의 Hand 모듈을 사용해보았으나, 일부 영상이 인식되지 않음을 확인함.
- 따라서, 해당 모듈 사용은 제외하였음.

Reference:
  - Pytorch r2plus1d: https://pytorch.org/vision/stable/models/generated/torchvision.models.video.r2plus1d_18.html#torchvision.models.video.r2plus1d_18
  - mediapipe.hands: https://google.github.io/mediapipe/solutions/hands.html)

P.S
동영상 추가적인 전처리 했을 때와 안했을 때의 결과 비교
[R2Plus1D with mideapipe.hands]
Epoch [100], Train Loss : [0.02244] Val Loss : [0.04733] Val F1 : [0.97503]
[R2Plus1D with not doing any preprocess]
Epoch [100], Train Loss : [0.00276] Val Loss : [0.02905] Val F1 : [0.98362]