arXiv:2610.12201v1 eess.AS

SteerablePlex: 풀 듀플렉스(Full-Duplex) 모델을 조종할 수 있는가?

SteerablePlex: Can We Steer Full-Duplex Models?

Haolong Zheng, Maike Züfle, Dominik Macháček, Peter Polák, Xulin Fan, Xavier Sumba, Siyin Wang, Ondřej Klejch, Mark Hasegawa-Johnson

제출 2026-10-08

저자 비고

arXiv Comments

5 pages, 2 figures

한국어 초록

풀 듀플렉스(Full-Duplex) 음성 모델은 듣기와 말하기를 동시에 수행할 수 있어 자연스러운 상호작용을 가능하게 하지만, 대화 기록(conversation history)이 길어질수록 제어하기가 점점 더 어려워진다. 사용자 시뮬레이터(user simulator)로 사용될 때 이러한 제어력 부족은 모델이 지정된 시나리오에서 벗어나게 하여 신뢰할 수 없는 평가 결과를 초래할 수 있다. 우리는 대화형 모델이 지정된 시나리오 내에 머무르면서 여러 목표를 요구된 순서대로 완수하는지를 평가하는 SimIF-Bench(Simulator Instruction-Following Benchmark)를 소개한다. 이 벤치마크는 현재의 오픈소스 풀 듀플렉스 모델들이 이러한 제약을 따르는 데 어려움을 겪는다는 것을 보여준다. 이어서 우리는 Group Reward-Decoupled Normalization Policy Optimization(GDPO) 기반 학습 레시피를 소개하는데, 이는 풀 듀플렉스 모델이 턴테이킹(turn-taking) 능력을 유지하면서도 진행 중인 대화 중에 텍스트 지시(textual instructions)를 따를 수 있게 한다. 이렇게 만들어진 SteerablePlex를 대화를 모니터링하고 필요할 때 지시를 제공하는 비동기 백엔드 언어 모델과 연결함으로써, 우리는 기존 오픈소스 모델 및 GPT-Realtime보다 다단계 제약을 더 안정적으로 따르는, 더 제어 가능한 풀 듀플렉스 사용자 시뮬레이터를 구축한다.

원문 초록

Full-duplex speech models can listen and speak simultaneously, enabling natural interaction, but become increasingly difficult to control as the conversation history grows. When used as user simulators, this lack of control can cause them to deviate from prescribed scenarios and produce unreliable evaluation outcomes. We introduce SimIF-Bench (Simulator Instruction-Following Benchmark), which evaluates whether a conversational model stays within a prescribed scenario and completes multiple goals in the required order. The benchmark reveals that current open-source full-duplex models struggle to follow such constraints. We then introduce a Group Reward-Decoupled Normalization Policy Optimization (GDPO)-based training recipe that enables a full-duplex model to follow textual instructions during an ongoing conversation while maintaining its turn-taking ability. By connecting the resulting SteerablePlex to an asynchronous backend language model that monitors the conversation and provides instructions when needed, we build a more controllable full-duplex user simulator that follows multi-stage constraints more reliably than existing open-source models and GPT-Realtime.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.12201v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.