턴테이킹과 의미론의 분리: 유한 상태 기계 기반 전이중 대화를 위한 분리형 데이터 접근법
Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue
한국어 초록
Neural Finite State Machine(NFSM) 프레임워크는 표준 다음 토큰 예측 목적함수 하에서 턴테이킹 제어와 응답 생성을 하나의 인과적 테이프(causal tape)에 직렬화함으로써 전이중(full-duplex) 대화로 나아가는 실용적인 경로를 제시하며, 이를 통해 낮은 미세조정 비용으로 의미론적 역량을 보존한다. 그러나 이 프레임워크가 합성 텍스트 데이터에 의존한다는 점은 턴테이킹의 자연스러움을 근본적으로 제한하는데, 대규모 언어 모델(LLM)이 실제 사람 간 대화의 세밀한 음향적 시간 역학을 충실히 모사할 수 없기 때문이다. 본 연구에서는 실제 사람-사람(Human-Human, HH) 음성 대화로부터 턴테이킹을 학습하는 동시에, 설정 가능한 사람-에이전트(Human-Agent, HA) 텍스트 대화를 통해 의미적 행동을 형성하는 분리형 데이터 접근법을 제안한다. 이 접근법을 구현하기 위해, 턴테이킹 이벤트를 분류하고 결정론적 매핑 규칙을 적용하여 HH 음성 대화를 FSM 테이프로 직렬화하는 규칙 기반 이벤트 유도형 데이터 변환 방법을 도입하며, 이를 통해 LLM이 생성한 어노테이션 없이도 확장 가능한 지도(supervision)를 가능하게 한다. 또한 상태 전이 토큰의 롱테일 분포를 함께 보정하고, 각 데이터 소스가 가장 잘 지도할 수 있는 역량 쪽으로 학습을 유도하는 Source-Aware Calibrated(SAC) 손실을 제안한다. 실험 결과, 제안한 접근법은 기반 LLM의 의미론적 역량을 회복하면서 턴테이킹 숙련도를 크게 향상시킨다. 코드와 모델은 https://github.com/Liyht/def-fsm 에서 확인할 수 있다.
원문 초록
The Neural Finite State Machine (NFSM) framework offers a pragmatic path to full-duplex dialogue by serializing turn-taking control and response generation onto a single causal tape under the standard next-token prediction objective, thereby preserving semantic prowess at a low fine-tuning cost. However, its reliance on synthetic text data fundamentally limits turn-taking naturalness, as Large Language Models (LLMs) cannot faithfully simulate the fine-grained acoustic temporal dynamics of real human dialogues. In this work, we propose a decoupled data approach that learns turn-taking from real Human-Human (HH) spoken dialogues while shaping semantic behavior through configurable Human-Agent (HA) text dialogues. To operationalize this approach, we introduce a rule-based event-guided data transformation method that serializes HH spoken dialogues into FSM tapes by classifying turn-taking events and applying deterministic mapping rules, enabling scalable supervision without LLM-generated annotations. We further propose a Source-Aware Calibrated (SAC) Loss that jointly calibrates the long-tailed distribution of state transition tokens and channels each data source toward the capability it best supervises. Experiments show that our approach substantially improves turn-taking proficiency while recovering the foundation LLM's semantic capability. Our code and model are available at https://github.com/Liyht/def-fsm.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03321v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.