지각에서 시뮬레이션까지: 멀티모달 대규모 언어 모델의 내적 공간 시뮬레이션 능력 분석과 향상
From Perception to Simulation: Unveiling and Empowering Mental Spatial Dynamics in MLLMs
한국어 초록
공간 추론은 멀티모달 대규모 언어 모델(MLLM)이 세계를 이해하는 데 필요한 기본 능력이다. 기존 연구는 정적 장면의 공간 관계를 지각하는 데 진전을 보였지만, 동적인 공간 시뮬레이션은 상대적으로 덜 연구됐다. 중간 시각 피드백 없이 변화하는 공간 상태를 시뮬레이션해야 하는 공간 추론 과제 벤치마크 MentalGrid를 소개한다. 폭넓은 평가에서 기존 모델의 공간 시뮬레이션 능력이 크게 부족함을 확인했다. 단순한 시뮬레이션에서는 지각 능력이 성능을 제한했고, 문제가 복잡해지면 여러 단계에 걸친 추론 능력의 부족이 성능을 떨어뜨렸다. 이를 개선하기 위해 공간 추론에 특화된 샘플 1만 6천 개를 사용하는 3단계 커리큘럼 학습을 제안한다. 이 방식으로 학습한 SpatialWalker는 기반 모델보다 평균 성능이 33.8% 높았고, 공간 시뮬레이션에서 Gemini-3-Flash 같은 비공개 모델을 앞섰다. 학습 도메인 밖 벤치마크에서도 평균 4.9%의 개선을 유지했다. 이는 공간 시뮬레이션이 더 폭넓은 공간 지능의 기반이 됨을 보여 준다.
원문 초록
Spatial reasoning is a fundamental component of world understanding for Multimodal Large Language Models (MLLMs). While existing research has advanced the perception of spatial relations in static scenes, the domain of dynamic spatial simulation remains relatively unexplored. To bridge this gap, we introduce MentalGrid, a benchmark focused on spatial reasoning tasks that require models to simulate evolving spatial states without intermediate visual feedback. Extensive evaluation on our benchmark reveals a significant deficiency in the spatial simulation capabilities of existing models. Specifically, we find that performance is constrained by perceptual limitations in simple simulation scenarios and hindered by inadequate multi-step reasoning as complexity increases. To address these challenges, we propose a three-stage curriculum learning framework utilizing 16k specialized spatial reasoning samples. This approach yields SpatialWalker, which achieves a 33.8% average improvement over its base model, surpassing proprietary models like Gemini-3-Flash in spatial simulation. Furthermore, SpatialWalker demonstrates robust generalization, maintaining a 4.9% average gain on out-of-domain benchmarks, demonstrating the pivotal role of spatial simulation as a fundamental building block for broader spatial intelligence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22541v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.