arXiv:2504.11809v2 cs.CL

완전 단방향 아키텍처 기반 효율적이고 적응적인 동시 음성 번역

Efficient and Adaptive Simultaneous Speech Translation with Fully Unidirectional Architecture

Biao Fu, Donglei Yu, Minpeng Liao, Chengxi Li, Xinjie Chen, Yidong Chen, Kai Fan, Xiaodong Shi

제출 2025-04-16

한국어 초록

동시 음성 번역(SimulST)은 부분적인 음성 입력을 처리하면서 번역을 점진적으로 생성한다. 대규모 언어 모델(LLM)은 오프라인 번역 작업에서 강력한 성능을 보여 왔지만, 이를 SimulST에 적용하는 것은 상당한 도전 과제를 제기한다. 기존 LLM 기반 SimulST 접근법은 양방향 음성 인코더의 반복 인코딩으로 인해 상당한 계산 오버헤드를 발생시키거나, 고정된 read/write 정책에 의존하여 효율성과 성능을 제한한다. 본 연구에서는 음성 인코더와 LLM 모두를 포함하는 완전 단방향 아키텍처를 갖춘 Efficient and Adaptive Simultaneous Speech Translation(EASiST)을 제안한다. EASiST는 의미적으로 정렬된 SimulST 학습 샘플을 생성하기 위한 다중 지연(multi-latency) 데이터 큐레이션 전략을 포함하며, 명시적 read/write 토큰을 사용하는 교차(interleaved) 생성 작업으로 SimulST를 재정의한다. 적응형 추론을 위해 read/write 동작을 동적으로 예측하는 경량 정책 헤드(policy head)를 통합한다. 또한 음성-텍스트 모달리티를 정렬하고 번역과 정책 행동을 모두 최적화하기 위한 다단계 학습 전략을 사용한다. 도메인 내(MuST-C) 및 도메인 외(Europarl-ST) En-De, En-Es 데이터셋에서의 실험 결과, EASiST는 여러 강력한 베이스라인 대비 우수한 지연-품질(latency-quality) 트레이드오프를 제공함을 보여준다.

원문 초록

Simultaneous speech translation (SimulST) produces translations incrementally while processing partial speech input. Although large language models (LLMs) have shown strong capabilities in offline translation tasks, applying them to SimulST poses notable challenges. Existing LLM-based SimulST approaches either incur significant computational overhead due to repeated encoding of bidirectional speech encoder, or they depend on a fixed read/write policy, limiting the efficiency and performance. In this work, we introduce Efficient and Adaptive Simultaneous Speech Translation (EASiST) with fully unidirectional architecture, including both speech encoder and LLM. EASiST includes a multi-latency data curation strategy to generate semantically aligned SimulST training samples and redefines SimulST as an interleaved generation task with explicit read/write tokens. To facilitate adaptive inference, we incorporate a lightweight policy head that dynamically predicts read/write actions. Additionally, we employ a multi-stage training strategy to align speech-text modalities and optimize both translation and policy behavior. Experiments on both in-domain (MuST-C) and out-of-domain (Europarl-ST) En-De and En-Es datasets demonstrate that EASiST offers superior latency-quality trade-offs compared to several strong baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2504.11809v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.