대화는 이체 문제이다: 전이중 대화 모델의 양방향 쌍대 평가
Conversation Is a Two-Body Problem: Dyadic Evaluation of Full-Duplex Dialogue Models
한국어 초록
전이중(full-duplex) 음성 대화 모델은 동시에 듣고 말할 수 있어, 음성 에이전트(agent)가 턴 기반(turn-based) 시스템에서는 불가능한 자연스럽고 지연 시간이 짧은 상호작용을 수행하도록 지원합니다. 그러나 이러한 모델은 대개 반응할 수 없는 사전 녹음된 오디오나, 실시간으로 반응하지만 정해진 일련의 테스트만 진행하고 자체적으로는 평가받지 않는 자동화된 시험관과 같은 일방적 대화 상대를 대상으로 평가됩니다. 이러한 일방적 프레임워크는 턴 테이킹(turn-taking), 겹침(overlap), 끼어들기(interruption)가 상호 결합된 두 화자의 공동 산물인 이체 문제(two-body problem)의 절반만을 평가할 뿐입니다. 우리는 양방향 쌍대(dyadic) 설정에서 전이중 모델을 평가하는 프레임워크인 DyaFDB를 제안합니다. 이 프레임워크에서는 두 모델이 협력적 또는 상충하는 목표를 가진 부여된 역할에 따라 직접 대화하며, 양측 모두 외부 심사위원을 통해 오프라인으로 점수가 매겨집니다. DyaFDB는 서로 다른 이해관계 속에서 턴을 어떻게 주고받는지, 부여된 역할을 어떻게 수행하는지와 같이 두 모델이 서로에게 어떻게 행동하는지 탐색합니다. 우리는 네 가지 과제를 140개의 시나리오로 구현하고 6개의 셀프 플레이(self-play) 및 크로스 플레이(cross-play) 조합을 포괄하여 7,560건의 대화를 녹음했습니다. 일련의 실험을 통해 우리는 한 모델의 행동 방식이 상대방을 지속적으로 변화시킨다는 점을 관찰했습니다. 따라서 우리는 각 모델이 상대방에게 시험관이자 수험자가 되어야 하며, 단일의 고정된 대화 상대는 두 역할을 모두 수행할 수 없음을 증명합니다. 우리는 사전 녹음된 오디오를 일절 배제한 채 두 전이중 모델 간의 시나리오, 역할 프롬프트(prompt), 녹음 프로토콜을 공개할 예정입니다.
원문 초록
Full-duplex spoken dialogue models listen and speak at the same time, enabling voice agents to have natural, low-latency interactions that turn-based systems cannot offer. However, they are commonly evaluated against single-sided interlocutors: pre-recorded audio that cannot react, or an automated examiner that reacts in real time but only administers a fixed sequence of tests and is never graded. These single-sided frameworks evaluate only half of a two-body problem, where turn-taking, overlap, and interruption are joint products of two coupled speakers. We propose DyaFDB, a framework that evaluates full-duplex models in a dyadic setup: two models converse directly under assigned roles with cooperative or conflicting goals, and both sides are scored offline with an external judge. DyaFDB probes how the two models behave toward each other, such as how they take turns or carry an assigned role under different interests. We instantiate four tasks as 140 scenarios and record 7,560 conversations, covering six self- and cross-play pairings. Throughout the experiments, we observe that how a model behaves continually reshapes its partner. We thus demonstrate that each model must be both the examiner and examinee of the other, and no single fixed interlocutor can play both parts. We will release the scenarios, role prompts, and recording protocols between two full-duplex models, without any pre-recorded audio.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://dyafdb.github.io/