Ensemble knowledge distillation of self-supervised speech models
원문 초록
Distilled self-supervised models have shown competitive performance and efficiency in recent years. However, there is a lack of experience in jointly distilling multiple self-supervised speech models. In our work, we performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech models such as HuBERT, RobustHuBERT, and WavLM. We tried two different aggregation techniques, layerwise-average and layerwise-concatenation, to the representations of different teacher models and found that the former was more effective. On top of that, we proposed a multiple prediction head method for student models to predict different layer outputs of multiple teacher models simultaneously. The experimental results show that our method improves the performance of the distilled models on four downstream speech processing tasks, Phoneme Recognition, Speaker Identification, Emotion Recognition, and Automatic Speech Recognition in the hidden-set track of the SUPERB benchmark.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
디코딩 없는 배치 음성 의사결정: 단일 토큰 감독을 통해 동결된 LLM이 전사본 너머의 음성을 듣게 하다
Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Building a Public Domain Voice Database for Odia
Automatic Speech Recognition in German: A Detailed Error Analysis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.