검증 가능한 보상을 활용한 저지연 LLM 기반 실시간 다중 화자 음성 인식
Low-Latency LLM-Based Streaming Multi-Talker ASR with Verifiable Rewards
한국어 초록
대규모 언어 모델(LLM) 기반 스트리밍 자동 음성 인식(ASR) 아키텍처는 새로운 환경에 잘 일반화하고 지시를 따르는 능력이 뛰어나다. 그러나 여러 화자를 다루려면 전사, 발화의 화자 구분, 지연 시간을 함께 해결해야 한다. 본 연구의 웨어러블 환경에서는 기기 가까이에서 말하는 착용자와 더 멀리 있는 상대방의 대화를 실시간으로 전사해야 한다. 중간 전사 결과는 대화 UI에서 화자마다 고정된 쪽에 표시하므로 화자의 역할을 서로 바꿀 수 없으며, 화자 태그가 각 발화 턴에 앞서야 한다. 지도 미세조정(SFT)은 드물게 등장하는 이 태그를 충분히 최적화하지 못한다. 또 발화 앞부분의 태그를 확정하느라 뒤따르는 텍스트가 늦어질 수 있다. 따라서 고정 역할 화자 귀속 단어 오류율(SA-WER) 채점기와 발화 턴별 첫 출력 지연 보상을 결합해, 검증 가능한 보상을 이용한 강화학습(RLVR)으로 스트리밍 LLM 기반 ASR 모델을 사후 학습했다. 화자가 여덟 방향에 있는 다중 화자 코호트에서 SA-WER 기반 강화학습은 SA-WER을 SFT의 $20.51\%$에서 $13.14\%$로 낮췄다. 지연 시간 목적을 추가하면 SA-WER만 사용한 강화학습 대비 발화 시작부터 첫 출력까지의 지연 시간 $p50$은 $65\%$ 줄었다($0.918\,\text{s}$에서 $0.320\,\text{s}$). $p90$은 $44\%$ 줄었다($1.389\,\text{s}$에서 $0.780\,\text{s}$). 동시에 SA-WER $12.70\%$를 기록했다. 화자 역할을 고정한 인식 품질과 스트리밍 응답성을 함께 개선할 수 있음을 보여 준다.
원문 초록
LLM-based architectures offer strong generalization and instruction-following capabilities for streaming automatic speech recognition (ASR), but multi-talker use introduces coupled transcription, attribution, and latency challenges. Our wearable setting requires real-time transcription of a conversation between a near-field device wearer and a far-field partner. Because partial hypotheses are rendered on persistent sides of a dialogue UI, speaker roles cannot be permuted and each speaker tag must precede its turn. These sparse tags are weakly optimized by supervised fine-tuning (SFT), while committing to a leading tag can delay the text that follows. We therefore post-train a streaming LLM-based ASR model with reinforcement learning with verifiable rewards (RLVR), combining a fixed-role Speaker-Attributed WER (SA-WER) grader with a turn-level onset-delay reward. On an eight-direction multi-talker cohort, SA-WER RL reduces SA-WER from $20.51\%$ for SFT to $13.14\%$. Adding the delay objective reduces onset $p50$ by $65\%$ (from $0.918\,\text{s}$ to $0.320\,\text{s}$) and $p90$ by $44\%$ (from $1.389\,\text{s}$ to $0.780\,\text{s}$) relative to SA-WER-only RL, while achieving $12.70\%$ SA-WER. These results demonstrate that fixed-role recognition quality and streaming responsiveness can be improved jointly.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19136v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.