PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11015v1cs.CL

프롬프트 대 규칙: 음성 사용자 시뮬레이터의 발화 자연스러움 행동 감사 및 제어

Prompts versus Rules: Auditing and Controlling Speech Naturalness Behaviors in Voice User Simulators

음성 에이전트(voice agent)가 상업적으로 인기를 얻으면서, 배포된 에이전트를 평가하는 데 사용되는 사용자 시뮬레이터 역시 더 현실적이고 가변적이며 다양한 발화 자연스러움 행동—비유창성(disfluency), 끼어들기(interruption), 백채널링(backchanneling)—을 포함하도록 개발되고 있다. 사용자 시뮬레이터의 품질은 에이전트 평가 결과의 타당성에 직접적인 영향을 미친다. 그러나 우리는 지금까지 대부분의 연구가 이러한 행동에 대해 의도된 설정이 시뮬레이션에서 실제로 구현되는지를 상세히 검토하지 않았다는 것을 발견했다. 본 연구에서는 세 가지 모델에 걸쳐 적용한 우리 자체의 LLM 기반 프롬프팅 접근 방식인 τ-Voice와, 비유창성, 끼어들기, 백채널링을 위한 규칙 기반 주입 알고리즘이 실제로 구현하는 자연스러움 행동을 감사한다. 우리는 이러한 행동에 대한 프롬프팅이 신뢰할 수 없으며, 지시 사항과 일치하지 않는 발화를 생성하고, 지시가 암시하는 것보다 덜 자연스럽게 배치되고 분포된다는 것을 발견했다. 반면, 우리의 규칙 기반이면서 모델에 의존하지 않는(model-free) 알고리즘은 자연스러운 발화에 더 부합하는 제어 가능하고 다양한 자연스러움 행동을 생성한다. 우리의 결과는 사용자 시뮬레이션을 위해 목적에 맞게 학습(train)되지 않은 LLM만으로는 진정한 사용자 행동을 재현하기에 충분하지 않으며, 이러한 격차를 좁히기 위해서는 언어학적으로 정교한 결정론적(deterministic) 접근 방식이나 특화된 모델이 필요하다는 것을 시사한다. 설정된 값이 아니라 실제로 구현된 자연스러움 행동을 감사하고 보고하는 것이야말로 이러한 격차를 드러내는 방법이다.

arXiv:2607.07985v1cs.CL

전이중 음성 에이전트를 위한 LALM 오디오 평가자의 신뢰성 평가

A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents

Gemini 2.5 Flash, 3.5 Flash, 3.1 Pro 모델을 전이중(full-duplex) 음성 에이전트 대화 평가자로 활용할 때의 신뢰성을 209개 스테레오 세션과 3명의 보정된 인간 평가자를 기준으로 검증한 결과, 8개 평가 차원 중 5개에서 LALM-인간 간 Spearman rho가 인간 간 합의 수준과 동등하게 나타났다. 인간 단독 평가 대비 약 100배 낮은 비용으로 증거가 뒷받침되는 차원에서 LALM을 대체 또는 4번째 평가자로 배포할 수 있는 경험적 근거를 제시하며, 모델 교체 시에는 순위 상관관계 외에 보정(calibration) 측면의 재검증이 필요함을 강조한다.

arXiv:2511.07397v3cs.CL

Thinking While Speaking: Inference-Time Knowledge Transfer for Responsive and Intelligent Conversational Voice Agents

음성 에이전트(voice agent)의 지연-능력 트레이드오프를 대화형 인필(conversational infill)로 해결하며, 경량 Talker 모델이 즉시 응답을 생성해 외부 Reasoner의 지연을 숨기고 추론 중 스트리밍되는 지식을 대화에 자연스럽게 통합한다. 시스템 ConvFill은 밀리초 수준 첫 응답 시간을 유지하면서 대응 Reasoner 대비 정확도 격차를 6.3% 이내로 줄였고, 18명 사용자 평가에서 최첨단 모델과 전반적 품질이 동등하며 검색 중심 과제에서 더 선호되고 반응성이 유의하게 높게 평가되었다.

arXiv:2606.13544v3eess.AS

실시간 다자간 음성 에이전트를 위한 적응형 턴 테이킹

Adaptive Turn-Taking for Real-time Multi-Party Voice Agents

다자간 음성 대화에서의 턴 테이킹 문제를 해결하기 위해, 명시적인 역할에 따라 발화권을 조절하는 음성 에이전트인 ModeratorLM을 제안한다. 음성 대규모 언어 모델(LLM)과 사고의 연쇄(Chain-of-Thought) 추론을 결합한 이 방법은 실제 회의 데이터에서 턴 테이킹 정밀도와 재현율을 각각 40% 이상, 70% 이상 향상시켰다.

arXiv:2606.19595v1cs.LG

IHBench: 구조화된 워크플로우를 갖춘 음성 에이전트의 중단 후 복구 평가

IHBench: Evaluating Post-Interruption Recovery in Voice Agents with Structured Workflows

고객 서비스, 의료 일정 관리, 계정 관리와 같은 구조화된 워크플로우(Structured Workflows)에 배포된 음성 에이전트(Voice Agents)는 다단계 절차를 진행하는 동안 빈번한 사용자 중단을 처리해야 합니다. 음성 처리가 가능한 모델을 위한 기존 벤치마크(Benchmarks)는 중단의 타이밍, 즉 바지인(Barge-in) 감지, 엔드포인팅(Endpointing), 턴 테이킹(Turn-taking) 역학에 초점을 맞춥니다. 이들은 중단 이후에 발생하는 상황을 측정하지 않습니다. 즉, 에이전트가 올바른 단계에서 워크플로우를 재개하는지, 사용자의 끼어들기를 처리하는지, 사용자가 이미 들은 내용을 다시 전달하지 않는지를 측정하지 않습니다. 우리는 10개의 기업 도메인에 걸쳐 상태 기계(State-machine) 기반 워크플로우를 실행하는 음성 에이전트의 중단 후 복구를 평가하는 벤치마크인 IHBench(Interruption Handling Benchmark)를 소개합니다. 6가지 유형의 중단이 발화 중간의 제어된 지점에 주입되며, 데이터와 함께 중단 유형별 평가 루브릭(Rubrics)이 생성됩니다. 각 중단은 과제 수행(Task Fulfillment)과 복구 품질(Recovery Quality)이라는 두 가지 축으로 점수가 매겨집니다. 우리는 OpenAI, Google, 오픈 가중치(Open-weight) 커뮤니티의 27가지 오디오-언어 모델(Audio-Language Model) 구성을 평가했습니다. 모델은 편차가 크며, 복구 품질은 중단 유형에 강하게 의존합니다. 실험 전반에서 폐쇄형 가중치(Closed-weight) 모델은 오픈 가중치 모델보다 중단에 대해 일관되게 더 강건한 것으로 나타났습니다. 폐쇄형 가중치 모델은 과제 수행에서 훨씬 더 자주 승리하고, 대화가 길어짐에 따라 성능 저하 속도가 약 3.3배 더 느리며, 오디오와 텍스트 모달리티 간의 격차가 없는 반면, 오픈 가중치 모델은 이 세 가지 모두에서 열세를 보였습니다. 인간 연구를 통해 인간 주석자(Annotators)와 대조하여 대규모 언어 모델(LLM) 판사를 검증했으며, AudioMultiChallenge에 대한 교차 벤치마크 분석은 복구 품질이 대체로 독립적인 능력 축임을 나타냅니다.