arXiv:2106.07734

CoDERT: Distilling Encoder Representations with Co-learning for Transducer-based Speech Recognition

Rupak Vignesh Swaminathan, Brian King, Grant P. Strimel, Jasha Droppo, Athanasios Mouchtaris

제출 2021-06-14

원문 초록

We propose a simple yet effective method to compress an RNN-Transducer (RNN-T) through the well-known knowledge distillation paradigm. We show that the transducer's encoder outputs naturally have a high entropy and contain rich information about acoustically similar word-piece confusions. This rich information is suppressed when combined with the lower entropy decoder outputs to produce the joint network logits. Consequently, we introduce an auxiliary loss to distill the encoder logits from a teacher transducer's encoder, and explore training strategies where this encoder distillation works effectively. We find that tandem training of teacher and student encoders with an inplace encoder distillation outperforms the use of a pre-trained and static teacher transducer. We also report an interesting phenomenon we refer to as implicit distillation, that occurs when the teacher and student encoders share the same decoder. Our experiments show 5.37-8.4% relative word error rate reductions (WERR) on in-house test sets, and 5.05-6.18% relative WERRs on LibriSpeech test sets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25176v1eess.AS공통 태그 Speech Recognition, Knowledge Distillation

Qwen-Audio-3.1-Realtime: 신뢰할 수 있는 에이전트형 음성 상호작용을 향하여

Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction

실시간 음성 어시스턴트는 변화하는 요청에 대해 추론하고, 동작을 실행하며, 대화 규칙을 따라야 한다. Qwen-Audio-3.1-Realtime은 Think, Act, and Speak and Coordinate를 통해 이러한 요구사항을 통합한다. Think는 Core-Cocktail 지도 미세조정과 Multimodality and Multi-Teacher On-Policy Distillation(M$^{2}$-OPD)을 결합하여 언어 역량을 이전하고 네이티브 오디오 능력을 개발한다. Act는 자기 진화형 실행 가능 환경과 다중 세분성 롤아웃을 Group Relative Policy Optimization(GRPO)에 사용하여, 모델이 도구를 사용하고 피드백을 해석하며 과제를 완료하도록 학습시킨다. Speak and Coordinate는 어시스턴트가 어떻게, 언제, 말할지 또는 행동할지를 정렬한다. 우리는 오디오 추론, 다국어 이해, 도구 사용, 대화 행동, 풀 듀플렉스(full-duplex) 상호작용, 안전성을 평가한다. Qwen-Audio-3.0-Realtime과 비교할 때, 3.1은 $\tau$-Voice의 하프 듀플렉스 음성-텍스트 적응 버전에서 전체 과제 성공률을 78.4%에서 82.0%로 높인다. 음성-대-음성 Full-Duplex-Bench v1.5에서 배경 음성에 대한 응답률은 73.0%에서 13.0%로 낮아진다. 또한 Qwen-Audio-3.0-Realtime을 foreground로 사용하는 별도의 Voice Harness 프로토타입을 제시하며, foreground–background 조율과 메모리를 통해 음성 상호작용을 지속적 과제로 확장한다.

arXiv:2609.25537v1cs.CL공통 태그 Decoder, Knowledge Distillation

LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축

Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference

대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.