옴니 요구 이해: 멀티모달 상호작용에서의 맥락적 사용자 의도 추론 벤치마크
Omni Demand Understanding: A Benchmark for Contextual User-Intent Inference in Multimodal Interaction
한국어 초록
자연스러운 음성-시각 상호작용은 정교하게 작성된 텍스트 프롬프트(prompt) 대신 사용자가 음성과 시각 정보를 통해 소통할 수 있도록 지원하며, AI 어시스턴트의 중요한 인터페이스로 부상하고 있습니다. 그러나 상호작용 능력을 평가하는 기존 벤치마크(benchmark)들은 여전히 응답 품질에 주로 초점을 맞추고 있어, 복잡한 멀티모달 상호작용에서 모델(model)이 사용자의 기저 요구를 올바르게 추론(inference)할 수 있는가라는 보다 근본적인 질문을 충분히 탐구하지 못하고 있습니다. 실제 환경에서 사용자의 요구는 음성에서 불완전하게 표현되는 경우가 많으며, 멀티모달 단서와 대화 이력으로부터 추론되어야 합니다. 이러한 추론은 모호하거나 비유창한 표현, 소음이 있는 음향 환경으로 인해 더욱 복잡해집니다. 반대로, 요청처럼 들리는 음성이 어시스턴트를 향한 실제 요구가 아닐 수도 있어 오작동(false trigger)을 유발하기도 합니다. 본 연구에서는 옴니 요구 이해(Omni Demand Understanding, ODU)를 독자적인 멀티모달 맥락 추론 문제로 정립합니다. 즉, 상호작용 스트림이 주어졌을 때 모델은 사용자 요구의 존재 여부를 감지하고 멀티모달 및 대화 맥락으로부터 의도를 추론해야 합니다. ODU는 단일 턴 및 다중 턴 상호작용을 모두 아우르는 5가지 차원에서 이 능력을 평가합니다. 본 연구는 난제 중심의 분류 체계, 분류 체계 기반의 에이전트(agent) 기반 비디오 생성, 인간이 녹음한 상호작용을 활용하고 미디어 기반 그라운딩(grounding) 주석 및 인간 검증을 거쳐 ODU-Bench를 구축합니다. 14종의 네이티브 MLLM을 평가한 결과, 가장 강력한 Gemini 3.1 Pro조차 시각, 음향 또는 대화 맥락에서 추론해야 하는 핵심 정보의 44.7%만을 복원하는 데 그쳤습니다. 또한 14개 모델 중 11개 모델이 요구가 없는 시나리오에서 50%가 넘는 오작동 비율을 보였습니다. 이러한 결과는 맥락적 사용자 요구를 추론하는 현재 MLLM의 능력에 체계적인 격차가 존재함을 드러냅니다. 본 연구는 ODU가 적절한 응답을 생성하기 전에 사용자 요구를 올바르게 이해하는, 멀티모달 상호작용에서 기존에 충분히 다뤄지지 않았으나 필수적인 능력에 대한 평가 체계를 확립하기를 기대합니다.
원문 초록
Natural audio-visual interaction is emerging as an important interface for AI assistants, allowing users to communicate through speech and vision rather than carefully composed text prompts. However, existing benchmarks of interactive capabilities still focus primarily on response quality, leaving a more fundamental question underexplored: can a model correctly infer the user's underlying demand from complex multimodal interaction? Real-world user demands are often underspecified in speech and must be inferred from multimodal cues and dialogue history. This inference is further complicated by ambiguous or disfluent expression and noisy acoustic environments. Conversely, request-like speech may not constitute a demand to the assistant, leading to false triggers. We establish Omni Demand Understanding (ODU) as a distinct multimodal contextual inference problem: given an interaction stream, a model must detect whether a user demand is present and infer intent from multimodal and conversational context. ODU evaluates this capability along five dimensions, covering both single-turn and multi-turn interactions. We construct ODU-Bench using a challenge-driven taxonomy, taxonomy-guided agentic video generation, and human-recorded interactions, followed by media-grounded annotation and human verification. We evaluate 14 native MLLMs. Even the strongest, Gemini 3.1 Pro, recovers only 44.7% of key information that must be inferred from visual, acoustic, or conversational context. Moreover, 11 of the 14 models exhibit false-trigger rates above 50% on non-demand scenarios. These results reveal a systematic capability gap in current MLLMs' ability to infer contextual user demands. We hope ODU can establish the evaluation of a previously underexplored yet essential capability in multimodal interaction: correctly understanding user demands before generating an appropriate response.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.21392v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.