PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27543v1cs.SD

비교정 자연주의적 음성 녹음에서 WavLM과 데이터 증강을 활용한 화화자 기반 발성 노력 분류 고도화

Advancing Speaker-Based Vocal Effort Classification with WavLM and Data Augmentation in Naturalistic Non-Calibrated Speech Recordings

발성 노력 범위(예: 속삭임, 부드러운 목소리, 중립, 큰 소리, 고함)의 변화는 발성과 음성 음향학 특성을 바꾸며, 명료도를 떨어뜨리고 이후 음성 기술의 견고성을 제한한다. 분류는 발성 노력이 연속체 위에 놓여 있고, 인접 범주가 쉽게 혼동되며, 레이블이 붙은 데이터가 여전히 부족하기 때문에 어렵다. wav2vec2, HuBERT, AST를 사용한 기존 자기지도 학습(SSL) 접근법은 AVID 코퍼스에서 성능을 개선하지만, 여전히 경계 오류에 시달린다. 본 연구에서는 발성 노력 분류에 WavLM을 처음으로 도입하고, wav2vec2 및 HuBERT와 벤치마크 비교한다. 데이터 부족 문제를 해결하기 위해, RIR 합성곱, 가산 노이즈, 시간 마스킹, 속도 perturbation, 대역 제한, MixUp, CutMix를 포함한 증강 전략에 대한 체계적 연구를 수행한다. 데이터 증강은 WavLM을 일관되게 개선하며, 절대값 기준 +0.6%에서 +1.8%의 향상을 보인다. 또한 가우시안 이웃 소프트 레이블을 제안하며, 이는 발성 노력 연속체를 모델링함으로써 경계 근처 혼동을 더욱 줄인다. 점진적 언프리징, 데이터 증강, 가우시안 이웃 소프트 레이블을 적용한 WavLM-BASE 최종 시스템은 평균 정확도 78.2%를 달성하여 AVID에서 새로운 최신 기록(state-of-the-art)을 수립한다.