Learning Decoupling Features Through Orthogonality Regularization
원문 초록
Keyword spotting (KWS) and speaker verification (SV) are two important tasks in speech applications. Research shows that the state-of-art KWS and SV models are trained independently using different datasets since they expect to learn distinctive acoustic features. However, humans can distinguish language content and the speaker identity simultaneously. Motivated by this, we believe it is important to explore a method that can effectively extract common features while decoupling task-specific features. Bearing this in mind, a two-branch deep network (KWS branch and SV branch) with the same network structure is developed and a novel decoupling feature learning method is proposed to push up the performance of KWS and SV simultaneously where speaker-invariant keyword representations and keyword-invariant speaker representations are expected respectively. Experiments are conducted on Google Speech Commands Dataset (GSCD). The results demonstrate that the orthogonality regularization helps the network to achieve SOTA EER of 1.31% and 1.87% on KWS and SV, respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
음성 파운데이션 모델의 개입 사후 학습을 통한 작업 특정 부분 공간 학습
Learning task-specific subspaces via interventional post-training of speech foundation models
레이블이 없는 음성 데이터의 대규모 말뭉치에서 사전 학습된 음성 파운데이션 모델은 작업 전반에 걸쳐 유용한 범용 표현을 생성합니다. 그러나 이러한 표현은 두드러진 음성 변수에 대한 정보를 분산된 방식으로 인코딩하는 반면, 하위 음성 작업은 이러한 변동성 중 일부에만 의존합니다. 본 연구에서는 개입형 대조 학습을 활용한 사후 학습 정제 접근 방식을 제안합니다. 개입 데이터셋과 다중 부분 대비 손실을 활용하여, 음성 파운데이션 모델의 얽힌 표현 공간을 분리된 내용 및 화자 부분 공간으로 변환하는 방법을 학습합니다. 화자 확인 및 키워드 탐지 작업에서 학습된 표현을 평가한 결과, 도메인 외 화자 확인 성능이 향상되었으며, 학습된 부분 공간에서 화자와 내용 정보가 분리되었다는 증거를 확인했습니다.
SPBA: Utilizing Speech Large Language Model for Backdoor Attacks on Speech Classification Models
EmoAttack: Utilizing Emotional Voice Conversion for Speech Backdoor Attacks on Deep Speech Classification Models
TinySV: Speaker Verification in TinyML with On-device Learning
Pushing the Performance of Synthetic Speech Detection with Kolmogorov-Arnold Networks and Self-Supervised Learning Models
Advances in Small-Footprint Keyword Spotting: A Comprehensive Review of Efficient Models and Algorithms
토론
이 논문과 연결된 포럼 글이 아직 없습니다.