arXiv:2609.01383v1 cs.CL

InSight: A Benchmark for Agentic Claim Verification in Interactive Visualizations

Maeve Hutchinson, Syed Mahbubul Huq, Mohammad Albinhassan, Radu Jianu, Aidan Slingsby, Pranava Madhyastha

제출 2026-09-01

한국어 초록

비전-언어 모델(Vision Language Models)은 정적 시각 산출물 해석에서 뛰어난 능력을 보여 주었지만, 현대 데이터 분석은 본질적으로 동적이며 대화형 환경을 적극적으로 탐색·질의해야 한다. 기존 벤치마크는 대부분 정적 이미지와 일회성 질의응답에 국한되어, 증거가 자주 가려지거나 연결된 뷰에 분산되거나 사용자 행위에 따라 조건부로 드러나는 이 영역의 인식론적 요구를 포착하지 못한다. 본 논문에서는 대화형 시각화에 대한 에이전트형 주장 검증 벤치마크인 InSight를 제안한다. 데이터셋은 사람이 작성한 분석 내러티브에서 파생된 21,349개의 주장으로 구성되며, 완전히 대화형인 웹 기반 환경에 그라운딩되어 있다. 에이전트는 이러한 환경을 탐색하여 자연어 주장이 이용 가능한 증거에 비추어 지지되는지, 반박되는지, 아니면 검증 불가능한지 판단해야 한다. 기존 평가와 달리 InSight는 상호작용 trace를 추론의 내재적 대리 지표로 취급하여, 모델이 시각적 증거를 어떻게 탐색하고 종합하는지 엄밀히 감사할 수 있게 한다. 최신(state-of-the-art) 모델을 평가한 결과, 대화형 검증은 여전히 사소하지 않은(non-trivial) 과제임을 보여 준다. InSight는 https://github.com/maevehutch/insight 에서 공개한다.

원문 초록

Vision Language Models have demonstrated remarkable proficiency in interpreting static visual artifacts, but modern data analysis is inherently dynamic, requiring the active interrogation of interactive environments. Existing benchmarks are predominantly constrained to static imagery and one-shot question answering and fail to capture the epistemic demands of this domain, where evidence is frequently occluded, distributed across linked views, or conditionally revealed through user agency. In this paper, we introduce InSight, a benchmark for agentic claim verification over interactive visualizations. The dataset consists of 21,349 claims derived from human-authored analytical narratives and grounded in fully interactive web-based environments. Agents must navigate these environments to determine whether a natural language claim is supported, refuted or not verifiable given the available evidence. Unlike traditional evaluations, InSight treats interaction traces as intrinsic proxies for reasoning, enabling a rigorous audit of how models seek and synthesize visual evidence. We evaluate state-of-the-art models, revealing that interactive verification remains a non-trivial challenge. We release InSight at https://github.com/maevehutch/insight.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.01383v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.