혹시 sr 하이퍼 파라미터를 16000으로 설정해보시는 건 어떠신가요
wav 확장자는 sr이 16000 이여서요 
default 값은 22500이에요

y, sr = librosa.load(path, sr=16000)

https://vitheal.com/12

* 여러 기술 블로그를 검색해보니 높은 sr (Sample Rate)는 더 많은 정보를 가지게 한다고 합니다 (음질 향상 혹은 아날로그 소리에 가까워짐)

* 그래서 높은 Sample Rate가 성능 향상에 도움이 될 수 있다고 생각합니다

* 그러나 여러 다른 블로그에서 높은 Sample Rate가 무조건으로 좋다고는 하지 않습니다 (전문 분야가 아니여서 자세한 내용은 잘 모릅니다)

* 결론적으로 sr 값을 변경하면서 다양한 전처리와 모델링을 수행하여 최적을 알고리즘을 개발하는 것이 좋을 것 같습니다

감사합니다

nnAudio 라이브러리 사용해보시는 건 어떤가요?
* 깃허브 : https://github.com/KinWaiCheuk/nnAudio
* MFCC 추출하는 법 : https://kinwaicheuk.github.io/nnAudio/_autosummary/nnAudio.features.mel.MFCC.html#nnAudio.features.mel.MFCC
* 속도에 관한 설명 :  https://kinwaicheuk.github.io/nnAudio/intro.html#speed

혹시,  librosa에서 Feature 뽑을 때 평균으로 뽑은 건가요?  평균으로 안 받고 통채로 받으면 양이 많다 보니 좀 오래 걸리더라구요.

만약 for x in df : 를 사용하신다면
for idx, row in df.iterrows(): 로 바꾸시면 속도가 빨라집니다.
베이스라인 코드 기준으로
for idx, row in tqdm(df.iterrows(),total=len(df)):
    path = './data' + row['SAMPLE_PATH'][1:]
    y, sr = librosa.load(path, sr=CFG['SR'])