X2Streaming-ASR: 불확실할 때는 기다리고 준비되었을 때 출력하는 스트리밍 음성 인식
X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR
한국어 초록
실시간 음성 에이전트 및 전이중(full-duplex) 대화를 위한 스트리밍 자동 음성 인식(ASR)은 낮은 확정 지연 시간(commit latency)으로 정확한 부분 전사본을 제공해야 합니다. 기존 시스템은 대개 고정된 청크 크기, 미리보기(look-ahead), 목표 지연 시간을 사용하거나 추정된 음향 경계 부근에서 출력을 유도합니다. 이러한 접근법은 단일 패스(single-pass) 및 하드 커밋(hard-commit) 제약 조건 하에서 각 출력 위치마다 얼마나 많은 추가 문맥을 사용할지 직접 최적화하지 못합니다. 본 논문에서는 스트리밍 인식을 '언제 확정할 것인가'와 '무엇을 확정할 것인가'로 분해하는 X2Streaming-ASR을 제안합니다. 이 모델의 3단계 학습(training) 절차는 먼저 스트리밍 인식 능력을 구축한 다음, 자동으로 탐색된 궤적으로 확정 정책을 웜스타트(warm-start)하고, 마지막으로 인식 정확도와 지연 시간에 대한 문자 수준 및 세그먼트 할당 그룹 상대적 보상을 사용하여 정책을 미세 조정합니다. 10개의 중국어 및 영어 테스트 세트에 걸쳐, X2Streaming-ASR은 강제 정렬된 끝점 대비 가장 낮은 평균 확정 지연 시간(중국어 문자 기준 32~109ms, 영어 단어 기준 12~85ms)을 달성하는 동시에 기존 시스템과 대등한 인식 정확도를 유지합니다.
원문 초록
Streaming automatic speech recognition (ASR) for real-time voice agents and full-duplex dialogue must provide accurate partial transcripts with low commit latency. Existing systems commonly use a fixed chunk size, look-ahead, or target delay, or encourage emissions near estimated acoustic boundaries. These approaches do not directly optimize how much additional context to use at each output position under a single-pass, hard-commit constraint. We propose X2Streaming-ASR, which decomposes streaming recognition into when to commit and what to commit. Its three-stage training procedure first establishes streaming recognition ability, then warm-starts the commit policy with automatically probed trajectories, and finally refines the policy using character-level, segment-assigned group-relative rewards for recognition accuracy and latency. Across ten Chinese and English test sets, X2Streaming-ASR attains the lowest mean commit latency relative to forced-aligned endpoints, 32--109ms on Chinese characters and 12--85ms on English words, while recognition accuracy remains comparable to existing systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
High-Throughput Distributed Reinforcement Learning via Adaptive Policy Synchronization
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
Bridging the Gap in Vision Language Models in Identifying Unsafe Concepts Across Modalities
Exploring the robustness of TractOracle methods in RL-based tractography
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
Deep Reinforcement Learning with Gradient Eligibility Traces
토론
이 논문과 연결된 포럼 글이 아직 없습니다.