arXiv:2606.31055v1 cs.CL

음성 대화 시스템을 위한 참조 기반 운율 및 리듬 평가

Reference-Based Prosody and Rhythm Evaluation for Spoken Dialogue Systems

Ashish Hallur, Thomas Thebaud, Georgi Tinchev, Venkatesh Ravichandran, Laureano Moro-Velazquez

제출 2026-06-30

한국어 초록

음성-음성(S2S) AI 에이전트는 빠르게 발전하고 있지만, 대화적 운율(prosody)과 리듬(rhythm)에 대한 해석 가능한 음성 고유 측정치가 평가에 부족하다. F0, 발화 속도, 조음 속도, 휴지(pause)는 모델이 예측한 화자 특성과 상호작용 상태에 따라 변하기 때문에, 통합 인간 통계는 특정 출력을 평가하는 데 적절히 보정되지 않을 수 있다. Seamless Interaction 데이터셋의 4000시간 이상의 이자 영어 대화를 활용하여, F0 평균, F0 표현력, 발화 속도, 조음 속도, 휴지 비율, 평균 휴지 지속 시간에 대한 매칭된 참조 기준(matched reference regimes)을 구성한다. 이후 백분위 기반 평가 프로토콜을 정의한다: S2S 출력 파형에서 동일한 지표를 추출하고, 가장 가까운 매칭된 인간 참조 계층과 비교하여, 백분위 편차 또는 5~95백분위 범위 외 플래그를 보고한다. 홀드아웃 인간 데이터 행에서, 통합 참조는 상태 조건부 F0 표현력과 리듬을 과도하게 플래그하는 반면, 매칭된 참조는 명목상 10%에 가까운 플래그 비율을 반환하고 편차 방향을 해석 가능하게 한다. 이러한 출력은 지각적 및 사용자 중심 평가를 대체하는 것이 아닌 보완하는 행동적 타당성 검사로 기능한다.

원문 초록

Speech-to-speech (S2S) AI agents are advancing rapidly, yet evaluation lacks interpretable speech-native measures for conversational prosody and rhythm. Because $F_0$, speaking rate, articulation rate, and pausing shift with model-predicted speaker traits and interaction state, pooled human statistics can be poorly calibrated for evaluating a particular output. Using 4000+ hours of dyadic English conversation from the Seamless Interaction dataset, we construct matched reference regimes for $F_0$ mean, $F_0$ expressivity, speech rate, articulation rate, pause ratio, and mean pause duration. We then define a percentile-based evaluation protocol: extract the same metrics from an S2S output waveform, compare them to the closest matched human reference stratum, and report percentile deviations or 5th-95th percentile out-of-regime flags. On held-out human rows, pooled references over-flag state-conditioned $F_0$ expressivity and rhythm, while matched references return flag rates closer to the nominal 10% and make deviation direction interpretable. These outputs serve as behavioral plausibility checks that complement, rather than replace, perceptual and user-centered evaluation.

요약

Seamless Interaction 데이터셋의 4,000시간 이상 대화 음성을 활용해 음성-음성(S2S) AI 에이전트의 운율(prosody)과 리듬 평가를 위한 화자 특성·상호작용 상태별 매칭 참조 기준(matched reference regimes)을 구축하고, 백분위 기반 평가 프로토콜을 제안했다. 실험 결과, 통합 참조(pooled reference)는 상태 조건부 F₀ 표현력과 리듬을 과도하게 플래그하는 반면, 매칭 참조는 명목 플래그 비율(10%)에 근접해 편차 방향을 해석 가능하게 하는 행동적 타당성 검사로 기능함을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31055v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.