End-to-End Speech Translation with Knowledge Distillation
원문 초록
End-to-end speech translation (ST), which directly translates from source language speech into target language text, has attracted intensive attentions in recent years. Compared to conventional pipeline systems, end-to-end ST models have advantages of lower latency, smaller model size and less error propagation. However, the combination of speech recognition and text translation in one model is more difficult than each of these two tasks. In this paper, we propose a knowledge distillation approach to improve ST model by transferring the knowledge from text translation model. Specifically, we first train a text translation model, regarded as a teacher model, and then ST model is trained to learn output probabilities from teacher model through knowledge distillation. Experiments on English- French Augmented LibriSpeech and English-Chinese TED corpus show that end-to-end ST is possible to implement on both similar and dissimilar language pairs. In addition, with the instruction of teacher model, end-to-end ST model can gain significant improvements by over 3.5 BLEU points.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TASK AWARE MULTI-TASK LEARNING FOR SPEECH TO TEXT TASKS
Qwen-Audio-3.1-Realtime: 신뢰할 수 있는 에이전트형 음성 상호작용을 향하여
Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction
실시간 음성 어시스턴트는 변화하는 요청에 대해 추론하고, 동작을 실행하며, 대화 규칙을 따라야 한다. Qwen-Audio-3.1-Realtime은 Think, Act, and Speak and Coordinate를 통해 이러한 요구사항을 통합한다. Think는 Core-Cocktail 지도 미세조정과 Multimodality and Multi-Teacher On-Policy Distillation(M$^{2}$-OPD)을 결합하여 언어 역량을 이전하고 네이티브 오디오 능력을 개발한다. Act는 자기 진화형 실행 가능 환경과 다중 세분성 롤아웃을 Group Relative Policy Optimization(GRPO)에 사용하여, 모델이 도구를 사용하고 피드백을 해석하며 과제를 완료하도록 학습시킨다. Speak and Coordinate는 어시스턴트가 어떻게, 언제, 말할지 또는 행동할지를 정렬한다. 우리는 오디오 추론, 다국어 이해, 도구 사용, 대화 행동, 풀 듀플렉스(full-duplex) 상호작용, 안전성을 평가한다. Qwen-Audio-3.0-Realtime과 비교할 때, 3.1은 $\tau$-Voice의 하프 듀플렉스 음성-텍스트 적응 버전에서 전체 과제 성공률을 78.4%에서 82.0%로 높인다. 음성-대-음성 Full-Duplex-Bench v1.5에서 배경 음성에 대한 응답률은 73.0%에서 13.0%로 낮아진다. 또한 Qwen-Audio-3.0-Realtime을 foreground로 사용하는 별도의 Voice Harness 프로토타입을 제시하며, foreground–background 조율과 메모리를 통해 음성 상호작용을 지속적 과제로 확장한다.
전사, 번역, 최적화: 음성 번역을 위한 공동 보상 학습
Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation
LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.
AUTOMATIC PRONUNCIATION MISTAKE DETECTOR PROJECT REPORT
Transformer-Based Named Entity Recognition for Automated Server Provisioning
Do You Act Like You Talk? Exploring Pose-based Driver Action Classification with Speech Recognition Networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.