음성 감정 인식 AI 경진대회 월간 데이콘

알고리즘 | 음향 | 감정인식 | 분류 | Accuracy

  • moneyIcon 상금 : 인증서
  • 828명 마감

 

[Private 1st 0.87851] Pretrained Hubert Fine-Tuning

2023.06.06 13:33 2,206 조회 language

다들 수고하셨습니다. 
대회 진행 중 기록을 정리했는데 일부 부정확 할 수 있습니다.
ppt : https://docs.google.com/presentation/d/1LdX11SqQvR0nV23mWOYmAOO6xE3XynB25blxTqKXuGo/edit?usp=drive_link

PDF
코드
로그인이 필요합니다
0 / 1000
화이트퍼그
2023.06.28 14:06

ppt 다운 가능한가요

파이썬초보만
2023.06.28 20:57

ppt 링크 본문에 첨부했습니다!

화이트퍼그
2023.06.29 11:34

고마워요

화이트퍼그
2023.07.07 19:02

제가 380GB 정도의 wav 파일을 가지고 있습니다.  librosa 없이 바로 wav로 학습을 시키고 있는데... 이거 때문에 oom 등 메모리 문제가 생기는 것 같습니다. librosa를 써서 코드를 짜고 실행을 하면 이런 일이 일어나지 않나요?

파이썬초보만
2023.07.07 21:50

380GB 정도의 데이터는 한번에 로드하기가 어려울 것 같습니다.
데이터 경로를 이용해서 Dataset클래스의 __getitem__ 에서 로드하는 방식으로 하면 될 것 같습니다.

화이트퍼그
2023.07.09 18:27

한국어 자료이며, 감성 분류가 아닌 정신병 분류 자료 입니다

파이썬초보만
2023.07.10 09:11

제가 관련 분야에 대해선 잘 모르지만, 위의 코드는 영어-감성분류에 사전학습된 모델을 사용했기 때문에  한국어-정신병 분류에서 성능이 보장되지 않을 수 있을것 같습니다.
기본적인 접근법(MFCC)에서부터 성능측정이 필요할 것 같네요

용용죽겠지
2023.10.04 17:28

안녕하세요. 공부하는 직장인입니다.

해당 코드를 실행할 때, 메모리가 부족한 것도 아닌 것 같은데, 실행 중에 멈추는 현상이 발생합니다. 제가 rtx 4080 환경에 RAM이 64기가인데 필자님도 실행하다가 멈추는 현상이 발생했는지 여쭙고자 합니다.

파이썬초보만
2023.10.07 11:25

안녕하세요! 데이터 로드부분에 오류가 있어서 수정했습니다

용용죽겠지
2023.10.10 13:11

답변해주셔서 감사드립니다. 그런데 궁금한 점을 하나만 더 여쭤봐도 될까요?

 def forward(self, audio_values, audio_attn_mask):
        logits = self.audio_model(input_values=audio_values, attention_mask=audio_attn_mask).logits
        logits = torch.stack([
            logits[:,0]+logits[:,7],
            logits[:,2]+logits[:,9],
            logits[:,5]+logits[:,12],
            logits[:,1]+logits[:,8],
            logits[:,4]+logits[:,11],
            logits[:,3]+logits[:,10]]
        , dim=-1)
        return logits

부분에서 logits[:,6] 은 없나요?

파이썬초보만
2023.10.10 19:27

안녕하세요!
logits[6], logits[13]은 각각 female_surprise, male_surprise를 구하는데 사전학습되어 있습니다.
대회에서 구해야할 label은
0: angry
1: fear
2: sad
3: disgust
4: neutral
5: happy
으로 surprise가 포함되어있지 않습니다.
이에 logits[6], logits[13]는 사용하지 않았습니다. pdf 5페이지부분에 설명참고하시면 좋을것 같습니다!