arXiv:2205.01304

Efficient dynamic filter for robust and low computational feature extraction

Donghyeon Kim, Gwantae Kim, Bokyeung Lee, Jeong-gi Kwak, David K. Han, Hanseok Ko

제출 2022-05-03

원문 초록

Unseen noise signal which is not considered in a model training process is difficult to anticipate and would lead to performance degradation. Various methods have been investigated to mitigate unseen noise. In our previous work, an Instance-level Dynamic Filter (IDF) and a Pixel Dynamic Filter (PDF) were proposed to extract noise-robust features. However, the performance of the dynamic filter might be degraded since simple feature pooling is used to reduce the computational resource in the IDF part. In this paper, we propose an efficient dynamic filter to enhance the performance of the dynamic filter. Instead of utilizing the simple feature mean, we separate Time-Frequency (T-F) features as non-overlapping chunks, and separable convolutions are carried out for each feature direction (inter chunks and intra chunks). Additionally, we propose Dynamic Attention Pooling that maps high dimensional features as low dimensional feature embeddings. These methods are applied to the IDF for keyword spotting and speaker verification tasks. We confirm that our proposed method performs better in unseen environments (unseen noise and unseen speakers) than state-of-the-art models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.17967v2cs.CL공통 태그 Speaker Verification, Keyword Spotting

음성 파운데이션 모델의 개입 사후 학습을 통한 작업 특정 부분 공간 학습

Learning task-specific subspaces via interventional post-training of speech foundation models

레이블이 없는 음성 데이터의 대규모 말뭉치에서 사전 학습된 음성 파운데이션 모델은 작업 전반에 걸쳐 유용한 범용 표현을 생성합니다. 그러나 이러한 표현은 두드러진 음성 변수에 대한 정보를 분산된 방식으로 인코딩하는 반면, 하위 음성 작업은 이러한 변동성 중 일부에만 의존합니다. 본 연구에서는 개입형 대조 학습을 활용한 사후 학습 정제 접근 방식을 제안합니다. 개입 데이터셋과 다중 부분 대비 손실을 활용하여, 음성 파운데이션 모델의 얽힌 표현 공간을 분리된 내용 및 화자 부분 공간으로 변환하는 방법을 학습합니다. 화자 확인 및 키워드 탐지 작업에서 학습된 표현을 평가한 결과, 도메인 외 화자 확인 성능이 향상되었으며, 학습된 부분 공간에서 화자와 내용 정보가 분리되었다는 증거를 확인했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.