arXiv:2609.27037v1 cs.AI

제어 가능한 합성 대화를 활용한 지능형 음성 비서 웨이크업 학습

Training Intelligent Voice Assistant Wakeup with Controllable Synthetic Conversations

Marcin Sowa\'nski, Kacper Leszczy\'nski, Kacper Krzywicki, Krzysztof Wodnicki

제출 2026-09-24

한국어 초록

웨이크 워드(wake word) 탐지는 가상 비서의 핵심 구성 요소로, 원활한 사용자 상호작용으로 이어지는 관문 역할을 한다. 본 논문은 기존의 직접 키워드 탐지를 문맥 기반 트리거 탐지로 확장한 새로운 웨이크업 시스템을 제안한다. 초기 웨이크 워드 활성화 이후, 시스템은 추론(reasoning)을 사용해 사용자 명령과 무관한 발화를 구분하여 효율적이고 문맥을 인식하는 상호작용을 보장한다. 우리는 직접 호출, 문맥 후속 발화, 비지향 발화를 포함하는 제어 가능한 다화자 대화 62.3시간 규모 코퍼스를 생성하는 데이터 생성 아키텍처를 제시한다. 실험 결과는 다양한 합성 대화 시나리오에서 제안 접근법의 효과를 보여준다. 재현성과 지능형 비서 기술의 추가 발전을 위해 코드, 데이터셋, 학습된 모델을 공개한다.

원문 초록

Wake word detection is a critical component of virtual assistants, serving as the gateway to seamless user interactions. This paper introduces a novel wake-up system that extends traditional direct keyword detection with contextual trigger detection. After an initial wake word activation, the system uses reasoning to distinguish between user commands and unrelated speech, ensuring efficient and context-aware engagement. We present a data generation architecture that produces a 62.3-hour corpus of controllable multi-speaker conversations containing direct invocations, contextual follow-ups, and non-addressed speech. Experimental results demonstrate the effectiveness of the proposed approach across diverse synthetic conversational scenarios. We release the code, dataset and trained models to promote reproducibility and further advancements in intelligent assistant technologies.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27037v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25176v1eess.AS공통 태그 Speech Recognition, voice assistant

Qwen-Audio-3.1-Realtime: 신뢰할 수 있는 에이전트형 음성 상호작용을 향하여

Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction

실시간 음성 어시스턴트는 변화하는 요청에 대해 추론하고, 동작을 실행하며, 대화 규칙을 따라야 한다. Qwen-Audio-3.1-Realtime은 Think, Act, and Speak and Coordinate를 통해 이러한 요구사항을 통합한다. Think는 Core-Cocktail 지도 미세조정과 Multimodality and Multi-Teacher On-Policy Distillation(M$^{2}$-OPD)을 결합하여 언어 역량을 이전하고 네이티브 오디오 능력을 개발한다. Act는 자기 진화형 실행 가능 환경과 다중 세분성 롤아웃을 Group Relative Policy Optimization(GRPO)에 사용하여, 모델이 도구를 사용하고 피드백을 해석하며 과제를 완료하도록 학습시킨다. Speak and Coordinate는 어시스턴트가 어떻게, 언제, 말할지 또는 행동할지를 정렬한다. 우리는 오디오 추론, 다국어 이해, 도구 사용, 대화 행동, 풀 듀플렉스(full-duplex) 상호작용, 안전성을 평가한다. Qwen-Audio-3.0-Realtime과 비교할 때, 3.1은 $\tau$-Voice의 하프 듀플렉스 음성-텍스트 적응 버전에서 전체 과제 성공률을 78.4%에서 82.0%로 높인다. 음성-대-음성 Full-Duplex-Bench v1.5에서 배경 음성에 대한 응답률은 73.0%에서 13.0%로 낮아진다. 또한 Qwen-Audio-3.0-Realtime을 foreground로 사용하는 별도의 Voice Harness 프로토타입을 제시하며, foreground–background 조율과 메모리를 통해 음성 상호작용을 지속적 과제로 확장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.