X2Streaming-ASR: 불확실할 때는 기다리고 준비되었을 때 출력하는 스트리밍 음성 인식
X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR
실시간 음성 에이전트 및 전이중(full-duplex) 대화를 위한 스트리밍 자동 음성 인식(ASR)은 낮은 확정 지연 시간(commit latency)으로 정확한 부분 전사본을 제공해야 합니다. 기존 시스템은 대개 고정된 청크 크기, 미리보기(look-ahead), 목표 지연 시간을 사용하거나 추정된 음향 경계 부근에서 출력을 유도합니다. 이러한 접근법은 단일 패스(single-pass) 및 하드 커밋(hard-commit) 제약 조건 하에서 각 출력 위치마다 얼마나 많은 추가 문맥을 사용할지 직접 최적화하지 못합니다. 본 논문에서는 스트리밍 인식을 '언제 확정할 것인가'와 '무엇을 확정할 것인가'로 분해하는 X2Streaming-ASR을 제안합니다. 이 모델의 3단계 학습(training) 절차는 먼저 스트리밍 인식 능력을 구축한 다음, 자동으로 탐색된 궤적으로 확정 정책을 웜스타트(warm-start)하고, 마지막으로 인식 정확도와 지연 시간에 대한 문자 수준 및 세그먼트 할당 그룹 상대적 보상을 사용하여 정책을 미세 조정합니다. 10개의 중국어 및 영어 테스트 세트에 걸쳐, X2Streaming-ASR은 강제 정렬된 끝점 대비 가장 낮은 평균 확정 지연 시간(중국어 문자 기준 32~109ms, 영어 단어 기준 12~85ms)을 달성하는 동시에 기존 시스템과 대등한 인식 정확도를 유지합니다.