arXiv:2605.30256v2 cs.CV

VideoFDB: 대화형 에이전트의 전이중 비전-음성 기능 평가

VideoFDB: Evaluating Full-Duplex Vision-Speech Capabilities in Conversational Agents

Amrita Mazumdar, Seonwook Park, Rajarshi Roy, Nikhil Srihari, Shengze Wang, Yuhao Zhou, Julia Wang, Koki Nagano, Shalini De Mello

제출 2026-05-28

한국어 초록

자연스러운 인간 대화는 전이중(full-duplex)이자 시청각적(audio-visual)입니다. 즉, 사람들은 끄덕임, 미소, 제스처와 같은 비언어적 단서를 지속적으로 해석하고 생성하면서 동시에 말하고 듣습니다. 성공적인 인간-에이전트 상호작용을 지원하려면 에이전트가 전이중 시청각 대화를 모델링해야 하지만, 기존의 전이중 벤치마크는 음성만을 평가합니다. 본 연구에서는 전이중 시청각 대 시청각(AV2AV) 대화형 에이전트를 평가하는 최초의 벤치마크인 VideoFDB를 제시합니다. VideoFDB는 (i) 실제 화상 통화에서 추출한 11가지 비언어적 대화 역학을 아우르는 237개의 2인 대화(dyadic) 클립, (ii) 인지 행동과 생성 행동을 분리하는 분류 체계, (iii) 비언어적 대화 역학과 관련된 대화 품질을 평가하기 위한 해석 가능한 축을 갖춘 루브릭 기반 판사로서의 언어 모델(LM-as-judge) 평가 프레임워크를 제공합니다. 오픈소스 및 상용 비전-음성 에이전트 전반에 걸쳐 캡셔닝 붕괴(captioning collapse) 및 시각 스트림 무시(visual-stream ignorance)와 같은 체계적인 실패 모드를 발견했으며, 현재 시스템들이 명시적인 시각적 질의응답에는 비전을 활용하지만 자연스러운 대화에 필요한 스트리밍 결합 시청각 그라운딩(grounding)에는 활용하지 못함을 보여줍니다. 나아가 연쇄형(cascaded) 음성-아바타 시스템을 평가하여 이들의 아키텍처가 근본적으로 전이중 비언어적 단서 생성을 배제함을 확인했습니다. 전이중 AV2AV 상호작용을 위한 최초의 벤치마크인 VideoFDB는 체계적인 평가를 위한 기반을 구축하며, 차세대 멀티모달 대화형 에이전트의 발전과 개발을 가속화하기를 기대합니다.

원문 초록

Natural human conversation is full-duplex and audio-visual: people simultaneously speak and listen while continuously interpreting and producing nonverbal cues, such as nods, smiles, and gestures. To support successful human-agent interaction, agents must model full-duplex audiovisual conversation; however, existing full-duplex benchmarks evaluate only speech. In this work, we present VideoFDB, the first benchmark to evaluate full-duplex audio-visual-to-audio-visual (AV2AV) conversational agents. VideoFDB contributes (i) 237 dyadic clips spanning 11 nonverbal conversational dynamics from real-world video calls, (ii) a taxonomy separating perception from generation behaviors, and (iii) a rubric-based LM-as-judge evaluation framework with interpretable axes for assessing conversational quality with respect to nonverbal conversational dynamics. Across open- and closed-source vision-speech agents, we find systematic failure modes: captioning collapse and visual-stream ignorance, and we show that current systems exploit vision for explicit visual question answering but not for the streaming joint audiovisual grounding required in natural conversation. We further evaluate cascaded speech-to-avatar systems and find that their architecture fundamentally precludes the production of full-duplex nonverbal cues. As the first benchmark for full-duplex AV2AV interaction, VideoFDB establishes a foundation for systematic evaluation and, we hope, will accelerate the advancement and development of next-generation multimodal conversational agents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.30256v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.