arXiv:2506.22992v2 cs.AI

MARBLE: 공간 추론과 시각적 추상화를 위한 에이전트 벤치마크

MARBLE: An Agentic Benchmark for Spatial Reasoning and Visual Abstraction

Yulun Jiang, Na\"el Ouerghemi, Yekun Chai, Maria Brbi\'c, Michael Moor

제출 2026-11-19

한국어 초록

실제 과업에서 멀티모달 언어 모델(MLLM)의 핵심 과제는 시각적 관찰을 구조화된 공간 상태로 추상화하고, 장기 지평에 걸쳐 행동에 따라 그 상태가 어떻게 변하는지를 추론하는 것이다. 기존 멀티모달 벤치마크는 답을 이미지에서 직접 추출할 수 있는 정적 질의응답에 초점을 맞추거나, 기호적 상태가 주어진다고 가정하여 시각-공간 추상화 과정을 우회하는 경우가 많다. 본 논문은 세 가지 에이전트 환경인 CUBE, MAZE, BLOX에 걸쳐 공간에 기반한 멀티모달 추론과 계획을 진단하는 벤치마크 MARBLE을 제시한다. MARBLE은 기하학적 제약, 동적 배치, 공간 변환 하의 2D 및 3D 공간 퍼즐을 포괄하며, 난이도는 관찰 형식과 계획 지평이라는 두 축을 따라 체계적으로 조절된다. 광범위한 평가 결과, 최첨단 MLLM은 MARBLE에서 어려움을 겪으며, 가장 강력한 모델인 GPT-5.4도 가장 어려운 설정에서 세 환경 평균 성공률이 7.3%에 그쳤다. 오픈 웨이트 모델에 대한 쌍별 절제 실험은 시각-공간 추상화가 주요 병목임을 보여준다. 모델이 사람이 주석한 상태를 받는 대신 이미지에서 공간 상태를 추론해야 할 때, 성공률은 Gemma-4-31B에서 50.7%에서 3.7%로, Kimi-K2.6에서 87.9%에서 6.5%로 떨어졌다. 이 결과는 모델이 계획에 앞서 시각적 관찰로부터 정밀한 공간 상태를 구성하지 못하는 경우가 많음을 나타내며, 이는 인간에게는 간단한 과업이다. 종합하면 MARBLE은 최첨단 MLLM의 신뢰할 수 있는 시각-공간 추상화에서의 격차를 드러내며, 공간에 기반한 멀티모달 추론과 계획의 진전을 측정하기 위한 통제된 테스트베드를 제공한다.

원문 초록

A central challenge for multimodal language models (MLLMs) in real-world tasks is to abstract visual observations into structured spatial states and reason over how those states change under actions over long horizons. Existing multimodal benchmarks often focus on static question answering, where answers can be directly extracted from images, or assume symbolic states are available and bypass the visual-to-spatial abstraction process. We present MARBLE, a diagnostic benchmark for spatially grounded multimodal reasoning and planning across three agent environments: CUBE, MAZE, and BLOX. MARBLE spans 2D and 3D spatial puzzles under geometric constraints, dynamic layouts, and spatial transformations, with difficulty systematically controlled along two axes: observation format and planning horizon. Extensive evaluations show that frontier MLLMs struggle on MARBLE, with the strongest model GPT-5.4 achieving only a 7.3% average success rate across the three environments in the hardest setting. Pairwise ablations on the open-weight models identify visual-to-spatial abstraction as the major bottleneck: when models must infer spatial states from images instead of receiving human-annotated states, success drops from 50.7% to 3.7% for Gemma-4-31B and from 87.9% to 6.5% for Kimi-K2.6. The results indicate that models often fail to construct precise spatial states from visual observations before planning, a task that is straightforward for humans. Overall, MARBLE reveals the gap in reliable visual-to-spatial abstraction for frontier MLLMs and provides a controlled testbed for measuring progress in spatially grounded multimodal reasoning and planning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2506.22992v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.