실시간 음성 에이전트 및 전이중(full-duplex) 대화를 위한 스트리밍 자동 음성 인식(ASR)은 낮은 확정 지연 시간(commit latency)으로 정확한 부분 전사본을 제공해야 합니다. 기존 시스템은 대개 고정된 청크 크기, 미리보기(look-ahead), 목표 지연 시간을 사용하거나 추정된 음향 경계 부근에서 출력을 유도합니다. 이러한 접근법은 단일 패스(single-pass) 및 하드 커밋(hard-commit) 제약 조건 하에서 각 출력 위치마다 얼마나 많은 추가 문맥을 사용할지 직접 최적화하지 못합니다. 본 논문에서는 스트리밍 인식을 '언제 확정할 것인가'와 '무엇을 확정할 것인가'로 분해하는 X2Streaming-ASR을 제안합니다. 이 모델의 3단계 학습(training) 절차는 먼저 스트리밍 인식 능력을 구축한 다음, 자동으로 탐색된 궤적으로 확정 정책을 웜스타트(warm-start)하고, 마지막으로 인식 정확도와 지연 시간에 대한 문자 수준 및 세그먼트 할당 그룹 상대적 보상을 사용하여 정책을 미세 조정합니다. 10개의 중국어 및 영어 테스트 세트에 걸쳐, X2Streaming-ASR은 강제 정렬된 끝점 대비 가장 낮은 평균 확정 지연 시간(중국어 문자 기준 32~109ms, 영어 단어 기준 12~85ms)을 달성하는 동시에 기존 시스템과 대등한 인식 정확도를 유지합니다.
Adapting a streaming speech recognition model to a new language requires choosing between two plausible warm starts: a multilingual (ML) encoder or an English-only (EN) encoder. The common intuition is that the multilingual encoder should help most at low data, but it is unclear how long that advantage persists, whether tight streaming latency amplifies it, and whether it survives deployment quantization. We answer these questions with a controlled sweep of a 0.6 B-parameter cache-aware FastConformer transducer across eight European languages, up to five target-language data scales (100 h to 2500 h), three streaming tiers plus offline decoding, and up to four public test sets. The main result is that multilingual initialization is a data-limited advantage, not a latency-limited one. On FLEURS at 160 ms, the mean EN-ML word error rate (WER) gap falls from +4.21 percentage points (pp) at 100 h to +0.20 pp at 2500 h; a power-law fit summarizes this decay, with each doubling of target-language data roughly halving the remaining advantage. Across the three streaming tiers, the across-language mean EN-ML gap is approximately stable at each scale from 100 to 1000 h, and is near zero by 2500 h. Finally, 4-bit weight-only encoder quantization at the matched 560 ms streaming tier reduces the encoder footprint by about 3x, with an average FLEURS WER increase of about 0.5 pp. The resulting guideline is simple: use multilingual initialization in low-data regimes, treat the choice as effectively irrelevant at large data, and make latency and quantization decisions independently.