Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder
원문 초록
Fast inference speed is an important goal towards real-world deployment of speech translation (ST) systems. End-to-end (E2E) models based on the encoder-decoder architecture are more suitable for this goal than traditional cascaded systems, but their effectiveness regarding decoding speed has not been explored so far. Inspired by recent progress in non-autoregressive (NAR) methods in text-based translation, which generates target tokens in parallel by eliminating conditional dependencies, we study the problem of NAR decoding for E2E-ST. We propose a novel NAR E2E-ST framework, Orthros, in which both NAR and autoregressive (AR) decoders are jointly trained on the shared speech encoder. The latter is used for selecting better translation among various length candidates generated from the former, which dramatically improves the effectiveness of a large length beam with negligible overhead. We further investigate effective length prediction methods from speech inputs and the impact of vocabulary sizes. Experiments on four benchmarks show the effectiveness of the proposed method in improving inference speed while maintaining competitive translation quality compared to state-of-the-art AR E2E-ST systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법
Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach
동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
TACG: 확산 언어 모델 디코딩을 위한 궤적 인식 커밋 게이팅
TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.