PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11015v1cs.CL

프롬프트 대 규칙: 음성 사용자 시뮬레이터의 발화 자연스러움 행동 감사 및 제어

Prompts versus Rules: Auditing and Controlling Speech Naturalness Behaviors in Voice User Simulators

음성 에이전트(voice agent)가 상업적으로 인기를 얻으면서, 배포된 에이전트를 평가하는 데 사용되는 사용자 시뮬레이터 역시 더 현실적이고 가변적이며 다양한 발화 자연스러움 행동—비유창성(disfluency), 끼어들기(interruption), 백채널링(backchanneling)—을 포함하도록 개발되고 있다. 사용자 시뮬레이터의 품질은 에이전트 평가 결과의 타당성에 직접적인 영향을 미친다. 그러나 우리는 지금까지 대부분의 연구가 이러한 행동에 대해 의도된 설정이 시뮬레이션에서 실제로 구현되는지를 상세히 검토하지 않았다는 것을 발견했다. 본 연구에서는 세 가지 모델에 걸쳐 적용한 우리 자체의 LLM 기반 프롬프팅 접근 방식인 τ-Voice와, 비유창성, 끼어들기, 백채널링을 위한 규칙 기반 주입 알고리즘이 실제로 구현하는 자연스러움 행동을 감사한다. 우리는 이러한 행동에 대한 프롬프팅이 신뢰할 수 없으며, 지시 사항과 일치하지 않는 발화를 생성하고, 지시가 암시하는 것보다 덜 자연스럽게 배치되고 분포된다는 것을 발견했다. 반면, 우리의 규칙 기반이면서 모델에 의존하지 않는(model-free) 알고리즘은 자연스러운 발화에 더 부합하는 제어 가능하고 다양한 자연스러움 행동을 생성한다. 우리의 결과는 사용자 시뮬레이션을 위해 목적에 맞게 학습(train)되지 않은 LLM만으로는 진정한 사용자 행동을 재현하기에 충분하지 않으며, 이러한 격차를 좁히기 위해서는 언어학적으로 정교한 결정론적(deterministic) 접근 방식이나 특화된 모델이 필요하다는 것을 시사한다. 설정된 값이 아니라 실제로 구현된 자연스러움 행동을 감사하고 보고하는 것이야말로 이러한 격차를 드러내는 방법이다.