추론 실패 분석을 통한 조합 가능한 비디오 공간 지능
From Reasoning Failures to Composable Video Spatial Intelligence
한국어 초록
공간 추론 벤치마크는 다양한 태스크 전반에서 비전-언어 모델(VLM)을 평가하지만, 태스크 수준의 점수만으로는 어떤 기저 역량이 성공 또는 실패를 유발하는지 밝혀내지 못합니다. 각 태스크는 공간적 근거(spatial evidence)를 복원하고 기하학적 구조를 표현하며 이를 바탕으로 추론하는 과정을 필요로 합니다. 본 연구에서는 공유된 스키마와 좌표 규약 하에서 예측된 공간 컨텍스트와 실제 정답(ground-truth) 공간 컨텍스트를 비교하여 이러한 역량들을 분리 분석합니다. 이 비교를 통해 네 가지 반복적인 오류 원인이 드러났습니다. 바로 부정확한 인식, 공간 컨텍스트의 정보 누락, 잘못된 측정 기준 선택, 그리고 기준 좌표계(reference frame) 오류 또는 위치 및 방향 추적 실패입니다. 이러한 진단을 바탕으로, 신뢰할 수 있는 비디오 공간 추론을 지원하기 위해 가용한 근거 위에서 작동하는 타입화된 기하 연산자 및 공간 스킬들로 구성된 학습 불필요(training-free) 라이브러리 CROSS를 개발했습니다. 이 라이브러리는 코딩 능력이 없는 VLM에게는 검증된 컨텍스트를 제공하거나 SpatialClaw 에이전트에게는 호출 가능한 스킬을 제공합니다. 5개의 벤치마크에서 CROSS를 평가한 결과, ReVSI에서 평균 점수를 55.9%에서 60.2%로 끌어올렸으며, DSI-Bench에서는 SpatialClaw 결과를 62.8%에서 66.3%로 향상시켰습니다. 이러한 개선 결과는 공간 규약을 명시적으로 처리함으로써 추가적인 학습(training) 없이도 체계적인 추론 실패를 교정할 수 있음을 보여줍니다.
원문 초록
Spatial reasoning benchmarks evaluate vision-language models across diverse tasks, but task-level scores do not reveal which underlying capabilities account for success or failure. Each task requires recovering spatial evidence, representing geometry, and reasoning over it. We disentangle these capabilities by comparing predicted and ground-truth spatial context under a shared schema and coordinate contract. This comparison reveals four recurring sources of error: inaccurate perception, missing information in the spatial context, selection of the wrong measurement, and errors in reference frames or in tracking position and orientation. Guided by this diagnosis, we develop CROSS, a training-free library of typed geometric operators and spatial skills that function over available evidence to support reliable video spatial reasoning. The resulting library supplies verified context to non-coding VLMs or callable skills to a SpatialClaw agent. We evaluate \methodname{} on five benchmarks. \methodname{} raises the average score from 55.9\% to 60.2\% on ReVSI and improves the SpatialClaw result from 62.8\% to 66.3\% on DSI-Bench. These gains demonstrate that explicit handling of spatial conventions can repair systematic reasoning failures without additional training.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Spatial-Interactor: 관찰 가능한 물리적 세계와의 상호작용을 통한 공간적 추론 학습
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
공간적 추론은 비전-언어 모델(VLM)이 물리적 세계를 이해하고 행동하는 데 필수적입니다. 동적 환경에서의 추론은 VLM이 물체의 움직임과 시점 변화로 인해 발생하는 국소적 상태 전이(state transition)를 인지하고, 이를 긴 궤적에 걸쳐 통합하여 최신 공간 상태를 유지할 것을 요구하지만, 기존 VLM은 두 가지 역량 모두에서 여전히 한계를 보입니다. 현재의 공간 학습은 주로 물체 속성과 공간 관계에 대한 정적인 질문에 초점을 맞추고 있어 상태 전이에 대한 직접적인 감독을 제한적으로 제공합니다. 반면, 상호작용 궤적은 선행 관찰, 행동, 후속 관찰을 자연스럽게 연결하여 국소적 상태 전이에 대한 직접적인 감독을 제공하며, 완전한 궤적은 연속적인 전이 간의 의존성을 드러냅니다. 이에 따라 본 논문에서는 상호작용을 통해 VLM이 물리적 세계의 상태 전이를 모델링하도록 학습시키는 프레임워크인 Spatial-Interactor를 소개하며, 이 학습 과정을 L1 수동적 세계-상태 전이, L2 능동적 자아-상태 전이, L3 장기적(long-horizon) 상호작용 궤적을 아우르는 3단계 커리큘럼으로 구성합니다. 이에 맞춰 시뮬레이션 및 실제 상호작용 궤적으로부터 각 단계의 목표에 맞춘 태스크를 포함하는 Learning from Spatial Interaction 데이터셋(LSI-108K)을 구축합니다. 제안하는 2단계 학습 전략은 국소적 전이 모델링을 위해 L1 및 L2에 지도 미세조정(SFT)을 적용한 뒤, 온-정책 증류(OPD)를 통해 특권적 자기 증류(privileged self-distillation)를 사용합니다. 즉, 구간 수준의 전이 설명이 주어지는 교사 브랜치가 학생의 온-정책 사고의 연쇄(CoT)를 감독하여, 학생이 L3 긴 궤적에 걸쳐 연속적인 전이를 통합하는 방법을 학습하도록 돕습니다. 여러 VLM 및 공간 벤치마크에 걸친 실험을 통해 국소적 전이 모델링과 장기적 통합 전반에서 일관된 성능 향상을 입증합니다.
암시적·명시적 기하를 갖춘 3D 인식 VLM
3D-Aware VLMs with Implicit and Explicit Geometries
비록 빠른 진전이 있었지만, 2D 시각 입력으로 구축된 대부분의 기존 비전-언어 모델(VLM)은 미세한 공간 이해와 추론을 요구하는 다양한 3D 작업을 처리할 때 종종 어려움을 겪는다. 이 격차를 해소하기 위해, 우리는 RGB 비디오로부터 학습된 암시적·명시적 3D 기하를 모두 갖추어 VLM의 3D 공간 인식을 향상시키는 통합 프레임워크인 VLM-IE3D를 제안한다. VLM-IE3D는 입력 비디오로부터 고수준 기하 사전지식(prior)을 포착하는 암시적 기하 토큰(Implicit Geometry Tokens, IGTs)과, 재구성된 3D 속성으로부터 상세한 기하 구조를 인코딩하는 보완적 명시적 기하 토큰(Explicit Geometry Tokens, EGTs)을 도입한다. 더 나아가 VLM-IE3D는 두 유형의 기하 표현을 2D 시각 단서와 효과적으로 융합하는 3D 인식 어댑터를 포함한다. 이 RGB 전용 설계는 추가 3D 입력 없이도 미세한 공간 이해와 추론을 위한 강한 3D 귀납 편향(inductive bias)을 주입한다. 광범위한 실험 결과, VLM-IE3D는 3D 비디오 검출, 3D 시각적 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 다양한 3D 작업에서 일관되게 우수한 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/Vegetebird/VLM-IE3D에서 이용할 수 있다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구
S-Space: Exploring Spatial Workspace in Multimodal Language Models
멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.
SpatialASM: 공간 추론을 위한 능동적 심적 표상화의 내재화
SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
복잡한 공간 추론 과제를 해결할 때 일반적인 인간은 자연스럽게 과제와 관련된 시점에서 장면을 다시 살펴보고, 해당 시점들로부터 공간 배치를 머릿속으로 재구성(mental reconstruction)합니다. 하지만 대규모 비전-언어 모델(LVLM)도 능동적으로 같은 방식으로 사고할 수 있을까요? 저자들은 이러한 능력을 능동적 공간 심적 표상화(Active Spatial Mentalization, ASM)라고 정의하며, 이는 현재의 LVLM에서 크게 미발달 상태로 남아 있는 시각 지능의 본질적인 구성 요소입니다. 이러한 격차를 해소하기 위해 저자들은 학습(training) 시점의 공간 시뮬레이션을 통해 ASM을 LVLM에 내재화하는 확장 가능한 프레임워크인 SpatialASM을 소개합니다. SpatialASM은 외재적(allocentric) 신규 시점 생성기를 활용하여 가상 시점을 시각적 증거에 그라운딩(grounding)하며, 상호보완적인 두 가지 형태의 지도(supervision)를 생성합니다: i) 공간 추론 중 언제 어떻게 적응적으로 시점 계획과 상상을 불러일으킬지 LVLM에 가르치는 명시적 ASM 궤적, ii) 시점 조건부 장면 상상을 더욱 강화하는 자동 구축된 관점 수용(perspective-taking) 과제. 상대적으로 지각 중심적인 공간 이해부터 다중 이미지, 시점 교차 및 시점 변환 추론이 필요한 더 까다로운 과제에 이르는 7개 벤치마크(benchmark)에서, SpatialASM은 기존의 일반적인 비각 능력을 유지하면서도 4개의 LVLM 백본 모델의 공간 추론 성능 향상을 이끌어냈습니다. 실험 결과는 저자들의 접근법이 7개 공간 벤치마크 전반에서 평균 정확도를 향상시킴을 입증합니다. 또한 ASM 궤적의 합성은 능동적 시점 탐험(exploration)과 심적 장면 시뮬레이션을 유도하기 위한 공간 사고의 연쇄(Chain-of-Thought, CoT) 지도 데이터의 부족을 완화하는 확장 가능한 경로를 제공합니다.
VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다
When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.