arXiv:2611.02430v1 cs.SD

InteractionBench: 실시간 음성 시스템의 타이밍, 과업 정확도, 속삭임과 음량, 근거성 측정

InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems

Richard Yucheng He, Chen Xu, Yihang Liu, Tairan Chen, Baodong Cao

제출 2026-11-03

한국어 초록

실시간 음성 시스템에 대한 대부분의 벤치마크는 턴 교대, 지시 따르기, 준언어적 제어, 대화 기억 등 한 가지 측면에 초점을 맞추며, 각각 고유한 데이터와 시스템 집합을 사용한다. 우리는 동일한 시스템에 대해 동일하게 녹음된 사용자 음성으로 네 가지 차원, 즉 대화 타이밍, 음성 과업 정확도, 속삭임과 음량, 스무 턴 이상 대화에서의 근거성을 측정하는 벤치마크 및 평가 도구인 InteractionBench를 제시한다. 이 벤치마크는 13개 시나리오에서 시스템당 221개 항목을 포함한다. 어떤 시스템도 실행하기 전에, 음성 과업에 대해 기대되는 발화권 제어 행동을 규칙으로 고정하고 기대 답변은 각본화된 대화에서 가져온다. 속삭임은 오디오 신호로부터 채점한다. 우리는 GPT-Live, GPT-Realtime, Gemini Live, Moshi, PersonaPlex, Freeze-Omni, 그리고 턴 기반 캐스케이드를 1,519회의 채점된 실행에서 평가한다. 여섯 개의 전이중 시스템 사이에서 타이밍과 음성 과업 정확도는 순위 상관을 보이는 반면($\rho = 0.83$), 캐스케이드는 음성 과업 점수가 가장 높고(38/50) 타이밍 점수는 두 번째로 낮다. 어떤 시스템도 요구되는 시간 창 안에 사용자의 문법을 교정하지 못한다. 대부분의 요청(8/10)에서 속삭이는 시스템은 Gemini Live뿐이다. 호스팅 시스템은 근거성 탐침의 67-88%를 통과한 반면 공개 전이중 모델은 14-35%를 통과한다. 타이밍은 클라이언트가 각 시스템의 소리를 듣는 지점에서 측정되므로 호스팅 시스템의 타이밍에는 네트워크 지연이 포함된다. 서버가 자체 시계를 보고하는 GPT-Live의 경우 약 1.5초의 지연을 제거하면 타이밍 점수가 86%에서 56%로 낮아진다. 우리는 또한 텍스트 지시를 포함하여 시스템 간에 프로토콜이 다른 부분을 문서화한다.

원문 초록

Most benchmarks for real-time voice systems focus on one aspect, such as turn-taking, instruction following, paralinguistic control, or conversational memory, each with its own data and set of systems. We present InteractionBench, a benchmark and evaluation harness that measures four dimensions on the same systems from the same recorded user audio: conversational timing, spoken-task accuracy, whisper and volume, and groundedness in conversations of more than twenty turns. The benchmark contains 221 items per system in thirteen scenarios. Before any system runs, we fix the expected floor-control actions for spoken tasks by rule and take the expected answers from scripted dialogues. We score whispering from the audio signal. We evaluate GPT-Live, GPT-Realtime, Gemini Live, Moshi, PersonaPlex, Freeze-Omni, and a turn-based cascade in 1,519 graded runs. Among the six full-duplex systems, timing and spoken-task accuracy are rank-correlated ($\rho = 0.83$), while the cascade has the highest spoken-task score (38/50) and the second-lowest timing score. No system corrects a user's grammar within the required window. Only Gemini Live whispers on most requests (8/10). Hosted systems pass 67-88% of groundedness probes, compared with 14-35% for open full-duplex models. Timing is measured where the client hears each system, so the timing of hosted systems includes network delay: for GPT-Live, whose server reports its own clock, removing a delay of about 1.5 s lowers its timing score from 86% to 56%. We also document where the protocol differs across systems, including the text instructions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.02430v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.