arXiv:2608.24439v1 cs.CV

DoublesEval: 프로 배드민턴 복식 경기를 통한 비전-언어 모델의 다중 에이전트 전술적 추론 진단

DoublesEval: Diagnosing Multi-Agent Tactical Reasoning in Vision-Language Models via Professional Doubles Badminton

Jintao Cheng, Weibin Li

제출 2026-08-25

한국어 초록

비전-언어 모델(VLM)은 눈에 보이는 장면의 내용을 설명하는 데는 뛰어나지만, 행동의 의미가 조율된 역할과 시공간적 의존성에 좌우되는 동적인 다중 에이전트(multi-agent) 상호작용을 추론하는 데는 어려움을 겪습니다. 본 연구에서는 이러한 역량을 다중 에이전트 전술적 추론(multi-agent tactical reasoning)으로 정형화하고, 구조적으로 다루기 쉬운 테스트베드로 프로 배드민턴 복식을 활용하는 진단 평가 프레임워크인 DoublesEval을 소개합니다. DoublesEval은 랠리를 전술적으로 유의미한 순간들로 분해하는 주요 순간 기반 프로토콜을 사용하며, 원자적 인식, 세그먼트 내 복합적 이해, 세그먼트 간 인과적 추론, 고수준 전술적 추상화의 네 가지 해석 가능한 차원에 걸쳐 모델을 탐색합니다. 이러한 설계는 단순히 답변의 정답 유무만을 측정하기보다 추론이 실패하는 지점을 격리하여 파악합니다. 관찰된 실패 모드를 해결하기 위해, 추론(inference) 시 매개변수(parameter) 업데이트나 정답 라벨 없이도 모델 자체의 저수준 전술 예측을 활용해 후보 답변을 재순위화하는 경량의 제약 조건 유도형 테스트 타임 일관성 검사기인 TacticCheck를 제안합니다. 정선된 60개의 랠리(약 9.6K개의 구조화된 인스턴스 도출)에서 제로샷 프로토콜을 통해 네 가지 대표적인 오픈소스 VLM을 평가한 결과, 모델들이 모든 진단 수준에서 여전히 취약하며 특히 공간 상태, 상호작용 바인딩, 최종 증거에서 뚜렷한 병목 현상을 보임을 확인했습니다. TacticCheck는 평가된 모든 모델에서 일관된 성능 향상을 제공하지만, 견고한 전술적 추론에는 여전히 상당한 격차가 남아 있습니다. 이러한 결과는 차세대 VLM을 위한 구조화되고 상호작용을 인식하는 평가 패러다임의 필요성을 강조합니다. 소스 코드는 GitHub 저장소에서 확인할 수 있습니다.

원문 초록

Visual Language Models (VLMs) excel at describing visible scene content but struggle to reason about dynamic multi-agent interactions, where action semantics depend on coordinated roles and spatial-temporal dependencies. We formalize this capability as \textbf{multi-agent tactical reasoning} and introduce \textbf{DoublesEval}, a diagnostic evaluation framework that leverages professional doubles badminton as a structurally tractable testbed. DoublesEval employs a key-moment-based protocol that decomposes rallies into tactically salient instants and probes models across four interpretable dimensions: atomic recognition, intra-segment composite understanding, cross-segment causal reasoning, and high-level tactical abstraction. This design isolates \emph{where} reasoning fails, rather than merely measuring answer correctness. To address observed failure modes, we propose \textbf{TacticCheck}, a lightweight constraint-guided test-time consistency checker that reranks candidate answers using the model's own lower-level tactical predictions, requiring no parameter updates or ground-truth labels at inference time. Evaluating four representative open-source VLMs on 60 curated rallies (yielding $\sim$9.6K structured instances) via a zero-shot protocol, we find that models remain weak across all diagnostic levels, with especially clear bottlenecks in spatial state, interaction binding, and terminal evidence. TacticCheck delivers consistent gains across all evaluated models, while still leaving a substantial gap to robust tactical reasoning. These results highlight the need for structured, interaction-aware evaluation paradigms for next-generation VLMs. The source code is available in \href{https://github.com/Chengjt1999/DoublesEval}{\textcolor{blue}{our GitHub repository}}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.24439v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.