보는 것이 아는 것은 아니다: 비전-언어 모델은 언제 공간적 질문에 답하지 말아야 하는지(그리고 그 이유는 무엇인지) 알고 있는가?
Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)?
한국어 초록
공간 추론 벤치마크는 일반적으로 비전-언어 모델(VLM)이 시각적 관측으로부터 정답을 도출할 수 있는지를 평가합니다. 그러나 실제 3D 환경에서는 관측 자체가 신뢰할 수 없을 수 있습니다. 가림(occlusion)은 태스크 관련 증거를 없앨 수 있으며, 원근법적 시점(perspective)은 보이는 기하학적 구조를 오도할 수 있습니다. 따라서 신뢰할 수 있는 공간 추론을 위해서는 질문에 올바르게 답하는 것 이상이 요구됩니다. 모델은 또한 현재의 관측이 해당 답변에 대해 충분하고 신뢰할 수 있는 증거를 제공하는지 평가해야 합니다. 본 연구에서는 시점에 따른 관측 불확실성을 연구하기 위한 통제된 평가 프레임워크인 SPATIALUNCERTAIN을 소개합니다. 우리는 상호 보완적인 두 가지 실패 모드, 즉 가림으로 인해 발생하는 증거 누락과 시점으로 인해 발생하는 오도적 증거를 연구합니다. 나아가 모델이 현재의 시점이 신뢰할 수 없는 시점임을 인식하고 더 많은 정보를 제공하는 관측을 식별할 수 있는지 평가합니다. 8개의 오픈소스 및 상용 비전-언어 모델에 걸쳐 분석한 결과, 모델의 동작이 시각적 증거의 신뢰성을 따르지 않음을 발견했습니다. 모델은 증거가 사라짐에 따라 안정적으로 더 신중해지지 않으며, 시점 충돌 상황에서 모델의 판단은 변하지 않는 물리적 3D 관계 대신 투영된 외형을 점차 더 따르게 됩니다. 내부 분석은 이에 상응하는 표현 비대칭성을 시사합니다. 즉, 투영된 2D 관계는 쉽게 활용 가능한 반면 기저의 물리적 3D 관계는 거의 디코딩되지 않습니다. 더욱이 명시적으로 요청받았을 때 유익한 시점을 식별할 수 있는 모델조차도 언제 그러한 추가 시점이 필요한지 인식하는 데는 자주 실패합니다. 이러한 실패는 프롬프트나 미세조정으로 완전히 해결되지 않으며, 동일한 오도적 관측에 깊이 정보를 추가하는 것보다 더 나은 시점을 제공하는 것이 실질적으로 훨씬 더 효과적입니다. 우리의 결과는 시각적 관측의 신뢰성을 평가하는 것이 현재 공간 추론 평가에서 뚜렷이 구별되는 누락된 구성 요소임을 보여줍니다.
원문 초록
Spatial reasoning benchmarks typically evaluate whether vision-language models can derive the correct answer from a visual observation. Yet in real 3D environments, the observation itself may be unreliable: occlusion can remove task-relevant evidence, while perspective can make visible geometry misleading. Reliable spatial reasoning therefore requires more than answering a question correctly. A model must also assess whether its current observation provides sufficient and trustworthy evidence for that answer. We introduce SPATIALUNCERTAIN, a controlled evaluation framework for studying viewpoint-dependent observational uncertainty. We study two complementary failure modes: missing evidence caused by occlusion and misleading evidence caused by perspective. We further evaluate whether models can recognize when the current view is unreliable and identify a more informative observation. Across eight open- and closed-source vision-language models, we find that model behavior does not track the reliability of visual evidence. Models do not reliably become more cautious as evidence disappears, and under perspective conflict, their judgments increasingly follow projected appearance rather than the unchanged physical 3D relation. Internal analysis suggests a corresponding representational asymmetry: projected 2D relations are readily available, whereas the underlying physical 3D relation is barely decodable. Moreover, models that can identify an informative viewpoint when explicitly asked often fail to recognize when such an additional view is needed. These failures are not fully resolved by prompting or fine-tuning, and providing a better viewpoint is substantially more effective than adding depth information to the same misleading observation. Our results identify assessing the reliability of visual observations as a distinct and missing component of current spatial reasoning evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구
S-Space: Exploring Spatial Workspace in Multimodal Language Models
멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.
SpatialASM: 공간 추론을 위한 능동적 심적 표상화의 내재화
SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
복잡한 공간 추론 과제를 해결할 때 일반적인 인간은 자연스럽게 과제와 관련된 시점에서 장면을 다시 살펴보고, 해당 시점들로부터 공간 배치를 머릿속으로 재구성(mental reconstruction)합니다. 하지만 대규모 비전-언어 모델(LVLM)도 능동적으로 같은 방식으로 사고할 수 있을까요? 저자들은 이러한 능력을 능동적 공간 심적 표상화(Active Spatial Mentalization, ASM)라고 정의하며, 이는 현재의 LVLM에서 크게 미발달 상태로 남아 있는 시각 지능의 본질적인 구성 요소입니다. 이러한 격차를 해소하기 위해 저자들은 학습(training) 시점의 공간 시뮬레이션을 통해 ASM을 LVLM에 내재화하는 확장 가능한 프레임워크인 SpatialASM을 소개합니다. SpatialASM은 외재적(allocentric) 신규 시점 생성기를 활용하여 가상 시점을 시각적 증거에 그라운딩(grounding)하며, 상호보완적인 두 가지 형태의 지도(supervision)를 생성합니다: i) 공간 추론 중 언제 어떻게 적응적으로 시점 계획과 상상을 불러일으킬지 LVLM에 가르치는 명시적 ASM 궤적, ii) 시점 조건부 장면 상상을 더욱 강화하는 자동 구축된 관점 수용(perspective-taking) 과제. 상대적으로 지각 중심적인 공간 이해부터 다중 이미지, 시점 교차 및 시점 변환 추론이 필요한 더 까다로운 과제에 이르는 7개 벤치마크(benchmark)에서, SpatialASM은 기존의 일반적인 비각 능력을 유지하면서도 4개의 LVLM 백본 모델의 공간 추론 성능 향상을 이끌어냈습니다. 실험 결과는 저자들의 접근법이 7개 공간 벤치마크 전반에서 평균 정확도를 향상시킴을 입증합니다. 또한 ASM 궤적의 합성은 능동적 시점 탐험(exploration)과 심적 장면 시뮬레이션을 유도하기 위한 공간 사고의 연쇄(Chain-of-Thought, CoT) 지도 데이터의 부족을 완화하는 확장 가능한 경로를 제공합니다.
VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다
When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.
SAVU-BENCH: 공간 시청각 이해를 위한 실제 환경 벤치마크
SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding
공간 시청각 이해(Spatial audio-visual understanding)는 모델이 무엇이 존재하는지뿐만 아니라 이벤트가 어디에서 발생하고 양상(modality) 간에 어떻게 연관되는지 인식할 것을 요구합니다. 기존 벤치마크는 시뮬레이션된 장면에 의존하거나 고립된 공간 기술만을 평가하며, 실패 모드에 대한 제한적인 진단적 통찰만을 제공하는 경우가 많습니다. 본 논문에서는 3가지 능력 수준과 7가지 평가 과제에 걸쳐 공간 시청각 이해를 체계적으로 평가하는 실제 환경 벤치마크인 SAVU-Bench를 소개합니다. 나아가 추론 질문을 필수 선행 과제인 그라운딩(grounding) 및 정렬(alignment) 하위 과제로 분해하는 장면 연계 진단 세트인 SAVU-Diag를 제시합니다. SAVU-Bench에서 12개의 대표 모델을 평가한 결과, 시각적 공간 그라운딩은 비교적 성숙한 반면 오디오와 관련된 공간 지각은 여전히 주요 병목 현상으로 남아 있음을 확인했습니다. SAVU-Diag는 대부분의 추론 오류가 이러한 선행 과제의 실패와 함께 발생하지만, 선행 과제가 올바르게 해결되더라도 추론 격차가 여전히 지속됨을 추가로 보여줍니다. 이러한 발견에 착안하여, 공간적 단서를 더욱 명시적으로 만들어 주는 학습(training) 없는 증거 증강 기준선(baseline)인 SAVU-EA를 소개합니다. SAVU-EA는 공간 그라운딩과 결합 매칭을 크게 향상시키지만, 고차원적 공간 추론은 여전히 어려운 과제로 남아 있습니다. 본 연구의 결과는 강건한 공간 오디오 지각과 교차 양상 공간 관계의 더 깊은 통합이 시급함을 강조합니다.
VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
보고 말하지만 사용하지 못함: 멀티모달 대규모 언어 모델에서 보고 가능한 공간적 사실로부터 사용 가능한 상태로의 전환
Seeing, Saying, but Not Using: From Reportable Spatial Facts to Usable States in Multimodal Large Language Models
공간적 사실을 올바르게 보고하는 멀티모달 대규모 언어 모델(MLLM)이 후속 추론에서 해당 사실을 반드시 사용하는 것은 아닙니다. 이러한 차이를 연구하기 위해, 공간 상태의 구축 및 활용을 평가하는 23,196개의 입력으로 구성된 벤치마크인 \textsc{SpaceConflict}를 소개합니다. 통합된 지지/모순/알 수 없음(Supported/Contradictory/Unknown) 판별 인터페이스 하에서, 이는 국소적 사실 결합(L1), 관계적 합성(L2), 교차 관측 일관성(L3), 변환 하에서의 상태 판별(L4)을 다룹니다. 동일한 세계에 대해 직접 상태 질의, 전체 변환 질의, 명시적 초기 상태 질의를 제시함으로써 가용성-활용 격차(availability-utilization gap)를 밝혀냈습니다. 모델은 시각적 증거로부터 초기 상태를 복원하지만, 해당 상태가 변환을 이끌어야 할 때는 실패합니다. Qwen3.5-9B의 경우, 초기 상태를 올바르게 복원한 100개 시퀀스 중 50개가 전체 변환에 실패하며, 상태를 명시적으로 제공하면 이 50개 모두가 해결됩니다. 이러한 격차는 스케일이 커짐에 따라 좁혀지지만 완전히 사라지지는 않습니다. 따라서 우리는 과업 관련 공간 상태와 그 변환 궤적을 감독하고 문맥 전반에 걸쳐 공유된 사실을 정렬하는 운영 상태 지도(Operational State Supervision, OSS)를 제안합니다. OSS는 상태를 체계화하고 사용하는 데 의존하는 수준인 L3 및 L4의 일치 판별에 대한 쌍별 정확도(paired accuracy)를 가장 크게 향상시킵니다. 따라서 멀티모달 공간 추론을 평가하려면 모델이 공간적 사실을 보고 진술할 수 있는지뿐만 아니라, 그 사실이 후속 계산에서 사용 가능한 상태가 되는지까지 물어야 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Website: https://zhangyuejoslin.github.io/spatialuncertain/