arXiv:2610.11015v1 cs.CL

프롬프트 대 규칙: 음성 사용자 시뮬레이터의 발화 자연스러움 행동 감사 및 제어

Prompts versus Rules: Auditing and Controlling Speech Naturalness Behaviors in Voice User Simulators

Riqiang Wang, Elena Khasanova, Harsh Saini, Lex Konnelly, Parsa Kavehzadeh, Matthias Lee, Mohamed Attia

제출 2026-10-07

저자 비고

arXiv Comments

Accepted to the UserSim @ NeurIPS 2026 workshop (non-archival)

한국어 초록

음성 에이전트(voice agent)가 상업적으로 인기를 얻으면서, 배포된 에이전트를 평가하는 데 사용되는 사용자 시뮬레이터 역시 더 현실적이고 가변적이며 다양한 발화 자연스러움 행동—비유창성(disfluency), 끼어들기(interruption), 백채널링(backchanneling)—을 포함하도록 개발되고 있다. 사용자 시뮬레이터의 품질은 에이전트 평가 결과의 타당성에 직접적인 영향을 미친다. 그러나 우리는 지금까지 대부분의 연구가 이러한 행동에 대해 의도된 설정이 시뮬레이션에서 실제로 구현되는지를 상세히 검토하지 않았다는 것을 발견했다. 본 연구에서는 세 가지 모델에 걸쳐 적용한 우리 자체의 LLM 기반 프롬프팅 접근 방식인 τ-Voice와, 비유창성, 끼어들기, 백채널링을 위한 규칙 기반 주입 알고리즘이 실제로 구현하는 자연스러움 행동을 감사한다. 우리는 이러한 행동에 대한 프롬프팅이 신뢰할 수 없으며, 지시 사항과 일치하지 않는 발화를 생성하고, 지시가 암시하는 것보다 덜 자연스럽게 배치되고 분포된다는 것을 발견했다. 반면, 우리의 규칙 기반이면서 모델에 의존하지 않는(model-free) 알고리즘은 자연스러운 발화에 더 부합하는 제어 가능하고 다양한 자연스러움 행동을 생성한다. 우리의 결과는 사용자 시뮬레이션을 위해 목적에 맞게 학습(train)되지 않은 LLM만으로는 진정한 사용자 행동을 재현하기에 충분하지 않으며, 이러한 격차를 좁히기 위해서는 언어학적으로 정교한 결정론적(deterministic) 접근 방식이나 특화된 모델이 필요하다는 것을 시사한다. 설정된 값이 아니라 실제로 구현된 자연스러움 행동을 감사하고 보고하는 것이야말로 이러한 격차를 드러내는 방법이다.

원문 초록

As voice agents gain more popularity commercially, the user simulators used to evaluate the deployed agents are also being developed to include more realistic, variable, and diverse speech naturalness behaviors -- disfluency, interruption and backchanneling. The quality of the user simulator directly affects the validity of agent evaluation results. However, we find that most studies so far have not examined in detail whether the intended configuration for these behaviors is realized in the simulation. In this study, we audit the realized naturalness behaviors of tau-Voice, our own LLM-based prompting approach across three models, and our rule-based injection algorithm for disfluency, interruption, and backchanneling. We find that prompting for these behaviors is unreliable and produces speech inconsistent with the instructions, placed and distributed less naturally than the instruction implies. In contrast, our rule-based, model-free algorithm produces controllable and diverse naturalness behaviors more aligned with natural speech. Our results suggest that LLMs not purpose-trained for user simulation are not sufficient on their own to represent authentic user behavior, and that linguistically informed deterministic approaches or specialized models are needed to close the gap; auditing and reporting realized naturalness behaviors, rather than configured settings, is what makes that gap visible.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11015v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22683v2cs.AI공통 태그 Prompt Engineering

Imprompt: 프롬프트 프로그래밍을 위한 언어 프레임워크

Imprompt: A Language Framework for Prompt Programming

언어 모델(LM)의 전례 없는 성공과 함께, 프롬프트 엔지니어링은 복잡한 작업을 기술하고 LM의 능력을 활용하기 위해 프롬프트를 프로그래밍 가능한 제어 표면으로 취급하는 프롬프트 프로그래밍이라는 강력한 개념으로 발전해 왔다. 그러나 기존 프롬프트 프로그래밍 프레임워크는 다양한 복잡성과 미적 결함으로 인해 실무에서 작업을 효과적으로 기술하기 어렵다. 우리는 프롬프트 프로그래밍의 연구와 실천을 위한 새로운 언어 프레임워크인 Imprompt를 제안한다. 우리는 프롬프트 프로그래밍에 대한 기초적 조사를 수행하고, 프롬프트 프로그램은 작업 설명만을 포함해야 하며 하위 수준의 '실행(execution)' 세부사항과 분리되어야 한다고 주장한다. 우리는 구조화된 프롬프팅(structured prompting)을 프롬프트 프로그래밍과 프롬프트 프로그램 '컴파일(compilation)'의 결합으로 설명함으로써 이 입장을 더 발전시킨다. 우리는 Imprompt 프로그램에 대한 두 컴파일러를 공식적으로 정의함으로써 이 관점을 예시한다. 이어서 프롬프트 프로그램의 타입(type) 개념을 탐구하고, 타입 검사(type checking)와 제약 디코딩(constrained decoding) 사이의 대응 관계를 제시한다. 마지막으로, 우리는 컴파일러와 타입 검사기를 구현하고 다양한 사례 연구에서 이를 평가한다. 본 연구는 새롭게 부상하는 프롬프트 프로그래밍 분야에 대한 프로그래밍 언어적 기초를 제공한다고 생각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.