로컬인가 에스컬레이션인가? 실시간 이중 음성 모델을 위한 사후 학습 전문가 라우팅
Local or Escalate? Post-Training Expert Routing for Real-Time Duplex Speech Models
한국어 초록
전이중 모델은 쉬운 질문에는 즉시 답해야 하지만, 어려운 질문은 대개 더 강력한 추론을 필요로 하며 이를 위해 기다려야 할 수 있다. 과제는 모델이 말하기 시작하는 순간에 이 두 경로 중 하나를 선택하는 것이다. 최근 시스템들은 대화 모델 내부의 특수 토큰 생성을 통해 관련된 모드 결정을 학습하며, 이로 인해 라우팅이 턴 전환 및 시간 주석이 달린 전이중 학습과 결합된다. 우리는 사후 학습 방식의 대안을 연구한다. 우리는 MiniCPM-o 4.5를 고정하고 음성 입력과 출력만 사용하며, 고유의 듣기-말하기 전환 시점에 이미 사용 가능한 은닉 상태에 로지스틱 실패 판독기를 적합시킨다. 그 결과 얻어진 게이트는 추가적인 모델 생성이 필요 없으며, 이중 정책을 바꾸지 않고도 재조정할 수 있는 임계값을 제공한다. 텍스트 입력 상태에서 적합시킨 프로브는 보지 못한 실제 사람 녹음을 포함하여 음성 질문의 상태도 읽어낸다. 내부 벤치마크에서 선택적 인계는 답변 정확도를 27.1포인트 향상시킨다. 항상 전문가를 사용하는 경우와 비교하면, 첫 응답 오디오까지의 평균 서버 시간을 31.5퍼센트 줄인다. 또한 외부 음성 질의응답 풀 전반에서 대응되는 무작위 라우팅을 능가하며, 전사된 질문을 평가하는 제로샷 GPT-5.4 mini 라우터도 능가한다. 이 학습 방식은 두 번째 이중 모델 계열에도 전이된다. 이러한 결과는 기존 이중 모델이 추가적인 이중 학습 없이도 쉬운 턴에는 즉시 답하고, 더 강력한 추론이나 더 최신의 지식이 필요한 턴에서는 기다리도록 갖춰질 수 있음을 보여준다.
원문 초록
A full-duplex model should answer easy questions immediately, but hard questions often need stronger reasoning, which may require waiting. The challenge is to choose between these paths at the moment the model begins to speak. Recent systems learn related mode decisions through special-token generation inside the dialogue model, coupling routing to turn-taking and temporally annotated full-duplex training. We study a post-training alternative. We freeze MiniCPM-o 4.5, using only its speech input and output, and fit a logistic failure readout on hidden states already available at its native listen-to-speak transition. The resulting gate requires no additional model generation and exposes thresholds that can be retuned without changing the duplex policy. A probe fitted on text-input states also reads the states of spoken questions, including unseen human recordings. On the internal benchmark, selective handoff improves answer accuracy by 27.1 points. Compared with always using the expert, it reduces mean server time to first answer audio by 31.5 percent. It also outperforms matched random routing across external speech question-answering pools, as well as a zero-shot GPT-5.4 mini router that rates the transcribed question. The training recipe also transfers to a second duplex model family. These results show that an existing duplex model can be equipped to answer easy turns immediately and wait for stronger reasoning or fresher knowledge on the turns that need it, without further duplex training.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.01639v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.