arXiv:2609.08672v3 cs.SD

X2Streaming-ASR: 불확실할 때는 기다리고 준비되었을 때 출력하는 스트리밍 음성 인식

X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR

Zhiwei Lin, Kaiqi Fu, Rime Wen, Zehan Liu, Shawn Qin, Roy Gan, Hao Wang

제출 2026-09-08

한국어 초록

실시간 음성 에이전트 및 전이중(full-duplex) 대화를 위한 스트리밍 자동 음성 인식(ASR)은 낮은 확정 지연 시간(commit latency)으로 정확한 부분 전사본을 제공해야 합니다. 기존 시스템은 대개 고정된 청크 크기, 미리보기(look-ahead), 목표 지연 시간을 사용하거나 추정된 음향 경계 부근에서 출력을 유도합니다. 이러한 접근법은 단일 패스(single-pass) 및 하드 커밋(hard-commit) 제약 조건 하에서 각 출력 위치마다 얼마나 많은 추가 문맥을 사용할지 직접 최적화하지 못합니다. 본 논문에서는 스트리밍 인식을 '언제 확정할 것인가'와 '무엇을 확정할 것인가'로 분해하는 X2Streaming-ASR을 제안합니다. 이 모델의 3단계 학습(training) 절차는 먼저 스트리밍 인식 능력을 구축한 다음, 자동으로 탐색된 궤적으로 확정 정책을 웜스타트(warm-start)하고, 마지막으로 인식 정확도와 지연 시간에 대한 문자 수준 및 세그먼트 할당 그룹 상대적 보상을 사용하여 정책을 미세 조정합니다. 10개의 중국어 및 영어 테스트 세트에 걸쳐, X2Streaming-ASR은 강제 정렬된 끝점 대비 가장 낮은 평균 확정 지연 시간(중국어 문자 기준 32~109ms, 영어 단어 기준 12~85ms)을 달성하는 동시에 기존 시스템과 대등한 인식 정확도를 유지합니다.

원문 초록

Streaming automatic speech recognition (ASR) for real-time voice agents and full-duplex dialogue must provide accurate partial transcripts with low commit latency. Existing systems commonly use a fixed chunk size, look-ahead, or target delay, or encourage emissions near estimated acoustic boundaries. These approaches do not directly optimize how much additional context to use at each output position under a single-pass, hard-commit constraint. We propose X2Streaming-ASR, which decomposes streaming recognition into when to commit and what to commit. Its three-stage training procedure first establishes streaming recognition ability, then warm-starts the commit policy with automatically probed trajectories, and finally refines the policy using character-level, segment-assigned group-relative rewards for recognition accuracy and latency. Across ten Chinese and English test sets, X2Streaming-ASR attains the lowest mean commit latency relative to forced-aligned endpoints, 32--109ms on Chinese characters and 12--85ms on English words, while recognition accuracy remains comparable to existing systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.08672v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.