공간적 사실을 올바르게 보고하는 멀티모달 대규모 언어 모델(MLLM)이 후속 추론에서 해당 사실을 반드시 사용하는 것은 아닙니다. 이러한 차이를 연구하기 위해, 공간 상태의 구축 및 활용을 평가하는 23,196개의 입력으로 구성된 벤치마크인 \textsc{SpaceConflict}를 소개합니다. 통합된 지지/모순/알 수 없음(Supported/Contradictory/Unknown) 판별 인터페이스 하에서, 이는 국소적 사실 결합(L1), 관계적 합성(L2), 교차 관측 일관성(L3), 변환 하에서의 상태 판별(L4)을 다룹니다. 동일한 세계에 대해 직접 상태 질의, 전체 변환 질의, 명시적 초기 상태 질의를 제시함으로써 가용성-활용 격차(availability-utilization gap)를 밝혀냈습니다. 모델은 시각적 증거로부터 초기 상태를 복원하지만, 해당 상태가 변환을 이끌어야 할 때는 실패합니다. Qwen3.5-9B의 경우, 초기 상태를 올바르게 복원한 100개 시퀀스 중 50개가 전체 변환에 실패하며, 상태를 명시적으로 제공하면 이 50개 모두가 해결됩니다. 이러한 격차는 스케일이 커짐에 따라 좁혀지지만 완전히 사라지지는 않습니다. 따라서 우리는 과업 관련 공간 상태와 그 변환 궤적을 감독하고 문맥 전반에 걸쳐 공유된 사실을 정렬하는 운영 상태 지도(Operational State Supervision, OSS)를 제안합니다. OSS는 상태를 체계화하고 사용하는 데 의존하는 수준인 L3 및 L4의 일치 판별에 대한 쌍별 정확도(paired accuracy)를 가장 크게 향상시킵니다. 따라서 멀티모달 공간 추론을 평가하려면 모델이 공간적 사실을 보고 진술할 수 있는지뿐만 아니라, 그 사실이 후속 계산에서 사용 가능한 상태가 되는지까지 물어야 합니다.
시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.
본 논문에서는 언어 모델이 답변하기 전에 코드가 명시적인 중간 표현으로부터 선별된 하위 문제를 계산하는 디자인 패턴인 연산 그라운딩 추론(compute-grounded reasoning, CGR)을 설명합니다. Spatial Atlas는 CGR을 공간 질의응답 처리기와 머신러닝 엔지니어링 처리기를 갖춘 Agent2Agent(A2A) 서버로 구현합니다. 공간 처리기는 언어 모델에 씬 그래프(scene graph) 추출을 요청하고, 코드가 누락된 거리를 채우며 추출된 안전성(safety) 규칙을 점검합니다. 별도의 벤치마크 드라이버는 엄격한 메트릭 브리지(metric bridge)를 실행할 수도 있습니다. 이 브리지는 세그멘테이션 마스크와 재구성된 포인트 맵으로부터 수평 간격 질문에 대한 간격을 계산하고, 해당 간격을 사실로서 답변 모델에 전달합니다. 증거 검증에 실패할 경우 브리지는 고정된 사용 불가 답변을 반환하며, 모델이 추정한 좌표로 절대 대체(fall back)하지 않습니다. ML 엔지니어링 처리기는 파이프라인 코드를 생성하고, 검증 점수를 파싱하며, 수정 및 개선 패스 횟수를 제한합니다. 해당 코드 실행 기능은 기본적으로 비활성화되어 있습니다. 또한 본 저장소는 레이블 없는 저널을 작성할 수 있는 4가지 실행 모드, 셔플된 이미지 대조군 매핑, 그리고 레이블이 포함된 필드를 거부하는 저널 검증기를 제공합니다. 본 논문에서는 4개의 경로가 각각 재시도 없이 8개의 예측 행을 작성한 단일 비공개 레이블 미포함 운영 실행 결과를 보고합니다. 레이블은 비공개 상태로 유지되었고 점수는 계산되지 않았으므로, 이 실행은 운영상의 무결성만을 입증합니다. 벤치마크 데이터에 접근할 수 없었기 때문에 FieldWorkArena 결과는 보고하지 않습니다. 또한 재현 가능한 실행 아티팩트가 없는 모든 성능, 지연 시간, 자원 사용량 수치는 제외했습니다.
비전-언어 모델(vision-language model)의 발전에도 불구하고, 2D 이미지로부터 3D 공간 추론을 수행하는 것은 여전히 어려운 과제로 남아 있습니다. 텍스트 기반 방법들은 중간 기하학적 정보를 이산 토큰(token)으로 기술하므로 연속적인 공간 관계에 대한 충실도가 제한됩니다. 연속 잠재 변수(continuous latent)는 더 풍부한 표현을 제공하지만, 단일 유형의 잠재 변수만으로는 다양한 공간 태스크에 필요한 단서들을 명시적으로 분리하지 못합니다. 분해된 공간 잠재 변수는 기하학적 지도 하에 위치, 방향, 전역 기하학을 별도로 표현함으로써 이 문제를 다룹니다. 그러나 기하학적 표현이 여전히 하나의 지배적인 방향으로 붕괴(collapse)될 수 있으며, 제약 없는 어텐션(attention)으로 인해 답변 학습 과정에서 잠재 변수가 충분히 활용되지 못할 수 있습니다. 본 논문에서는 기하학 상태를 구조화하는 동시에 잠재 변수 매개 답변 학습을 촉진하기 위해 공통-잔차 기하학 정렬(CR-GEO)과 라우팅된 최적화(routed optimization)를 결합한 GeoLatent를 제안합니다. CR-GEO는 공유되는 교사 기하학과 잔차 교사 기하학을 분리합니다. 라우팅된 최적화는 기하학과 언어를 공동으로 학습시키고, 시각적 답변 학습 경로를 잠재 변수를 거치도록 일시적으로 유도하며, 기하학 지도와 함께 완전한 어텐션을 복원합니다. 통제된 비교 실험에서 CR-GEO는 기하학 유효 순위(effective rank)를 1.00에서 3.87로 향상시켰으며, 병목 구간에서 잠재 변수 판독을 차단했을 때 128개의 고정된 질문에서 방향 정확도가 89.1%에서 25.8%로 떨어졌습니다. 복원 후에도 차별화된 기하학적 표현과 잠재 변수 매개 시각적 경로는 직접적인 이미지 접근과 함께 유지됩니다. GeoLatent는 SPAR-Bench에서 73.0%, SPBench에서 72.1%를 달성하여 두 벤치마크 모두에서 기존에 보고된 방법들을 능가합니다.
공간 추론 벤치마크는 다양한 태스크 전반에서 비전-언어 모델(VLM)을 평가하지만, 태스크 수준의 점수만으로는 어떤 기저 역량이 성공 또는 실패를 유발하는지 밝혀내지 못합니다. 각 태스크는 공간적 근거(spatial evidence)를 복원하고 기하학적 구조를 표현하며 이를 바탕으로 추론하는 과정을 필요로 합니다. 본 연구에서는 공유된 스키마와 좌표 규약 하에서 예측된 공간 컨텍스트와 실제 정답(ground-truth) 공간 컨텍스트를 비교하여 이러한 역량들을 분리 분석합니다. 이 비교를 통해 네 가지 반복적인 오류 원인이 드러났습니다. 바로 부정확한 인식, 공간 컨텍스트의 정보 누락, 잘못된 측정 기준 선택, 그리고 기준 좌표계(reference frame) 오류 또는 위치 및 방향 추적 실패입니다. 이러한 진단을 바탕으로, 신뢰할 수 있는 비디오 공간 추론을 지원하기 위해 가용한 근거 위에서 작동하는 타입화된 기하 연산자 및 공간 스킬들로 구성된 학습 불필요(training-free) 라이브러리 CROSS를 개발했습니다. 이 라이브러리는 코딩 능력이 없는 VLM에게는 검증된 컨텍스트를 제공하거나 SpatialClaw 에이전트에게는 호출 가능한 스킬을 제공합니다. 5개의 벤치마크에서 CROSS를 평가한 결과, ReVSI에서 평균 점수를 55.9%에서 60.2%로 끌어올렸으며, DSI-Bench에서는 SpatialClaw 결과를 62.8%에서 66.3%로 향상시켰습니다. 이러한 개선 결과는 공간 규약을 명시적으로 처리함으로써 추가적인 학습(training) 없이도 체계적인 추론 실패를 교정할 수 있음을 보여줍니다.
공간적 추론은 비전-언어 모델(VLM)이 물리적 세계를 이해하고 행동하는 데 필수적입니다. 동적 환경에서의 추론은 VLM이 물체의 움직임과 시점 변화로 인해 발생하는 국소적 상태 전이(state transition)를 인지하고, 이를 긴 궤적에 걸쳐 통합하여 최신 공간 상태를 유지할 것을 요구하지만, 기존 VLM은 두 가지 역량 모두에서 여전히 한계를 보입니다. 현재의 공간 학습은 주로 물체 속성과 공간 관계에 대한 정적인 질문에 초점을 맞추고 있어 상태 전이에 대한 직접적인 감독을 제한적으로 제공합니다. 반면, 상호작용 궤적은 선행 관찰, 행동, 후속 관찰을 자연스럽게 연결하여 국소적 상태 전이에 대한 직접적인 감독을 제공하며, 완전한 궤적은 연속적인 전이 간의 의존성을 드러냅니다. 이에 따라 본 논문에서는 상호작용을 통해 VLM이 물리적 세계의 상태 전이를 모델링하도록 학습시키는 프레임워크인 Spatial-Interactor를 소개하며, 이 학습 과정을 L1 수동적 세계-상태 전이, L2 능동적 자아-상태 전이, L3 장기적(long-horizon) 상호작용 궤적을 아우르는 3단계 커리큘럼으로 구성합니다. 이에 맞춰 시뮬레이션 및 실제 상호작용 궤적으로부터 각 단계의 목표에 맞춘 태스크를 포함하는 Learning from Spatial Interaction 데이터셋(LSI-108K)을 구축합니다. 제안하는 2단계 학습 전략은 국소적 전이 모델링을 위해 L1 및 L2에 지도 미세조정(SFT)을 적용한 뒤, 온-정책 증류(OPD)를 통해 특권적 자기 증류(privileged self-distillation)를 사용합니다. 즉, 구간 수준의 전이 설명이 주어지는 교사 브랜치가 학생의 온-정책 사고의 연쇄(CoT)를 감독하여, 학생이 L3 긴 궤적에 걸쳐 연속적인 전이를 통합하는 방법을 학습하도록 돕습니다. 여러 VLM 및 공간 벤치마크에 걸친 실험을 통해 국소적 전이 모델링과 장기적 통합 전반에서 일관된 성능 향상을 입증합니다.
비전-언어 모델(VLM)은 멀티모달 과제에서 뛰어난 성능을 보여 왔지만, 공간 추론 능력은 여전히 부족하다. 기존의 학습 의존적·학습 없는(training-free) 향상 방법은 각각 치명적 망각(catastrophic forgetting)을 동반한 높은 계산 비용, 또는 일반적 능력을 훼손하는 내부 메커니즘 간섭 문제를 겪는다. 본 연구에서는 먼저 두 가지 핵심 가설을 검증한다: 적절한 기하학적 이미지 변환과 질의 역전(query-reversal) 변환이 잘못된 공간 예측을 복구할 수 있으며, 올바른 예측은 잘못된 예측보다 relation-token 신뢰도가 더 높다는 것이다. 이를 바탕으로 VLM 내부 메커니즘을 수정하지 않고, 입력 변환으로 여러 추론(inference) 뷰를 구성하고 relation-token 신뢰도 라우팅으로 예측을 집계하는 학습 없는 공간 추론 향상 프레임워크 INTCORT를 제안한다. 여러 널리 쓰이는 벤치마크(benchmark)에서의 실험 결과, INTCORT는 다양한 VLM에서 공간 추론 정확도를 크게 향상시키며, 모든 모델과 벤치마크에 대해 평균 10.01%의 개선을 달성한다. 선행 연구와 비교하면 INTCORT는 최대 25.01%의 개선으로 더 우수한 성능을 달성한다.
MLLM의 시각적 객체 수 세기(visual counting) 능력을 종합적으로 평가하기 위해, 의미적 계수·분석적 계수·강건성 테스트의 3단계 계층적 분류 체계로 구성된 HoloCount 벤치마크를 제안한다. 20개 이상의 최신 MLLM 평가 결과, 단순 지각 과제에서 논리적 추론 및 적대적 시나리오로 전환될수록 최상위 모델조차 수치 환각(hallucination) 등 성능이 크게 저하되는 한계가 확인되었다.
공간 추론은 멀티모달 대규모 언어 모델(MLLM)의 지속적인 과제로 남아 있습니다. 기존 접근 방식은 대규모의 정적으로 큐레이션된 데이터셋에 크게 의존하며, 여기서는 모델의 발전하는 능력과 무관하게 모든 학습 샘플이 동일하게 처리됩니다. 이러한 정적 패러다임은 본질적으로 데이터 비효율적입니다: 학습 용량은 종종 현재 단계의 모델에게 너무 쉽거나 지나치게 어려운 샘플에 소비됩니다. 이러한 한계를 해결하기 위해, 우리는 모델이 제안자와 해결자라는 이중적인 역할을 수행하는 자가 진화형 학습 프레임워크인 Ouroboros-Spatial을 제안합니다. 각 반복(iteration)에서 고정된 제안자는 3D 장면 메타데이터와 원본 비디오 프레임으로부터 공간 질문-답변(QA) 쌍을 생성하고, 신뢰할 수 있는 정답(ground truth)을 도출하기 위한 실행 가능한 코드를 함께 생성합니다. 그런 다음 학습 가능한 해결자는 수락된 샘플에 대해 파인튜닝(fine-tuning)되며, 샘플별 예측 신뢰도가 난이도 신호로 사용됩니다. 이 신호는 다음 반복(iteration)에서 제안자에게 피드백되어, 해결자의 현재 능력에 더 잘 부합하는 질문을 생성하도록 안내합니다. 이러한 폐루프(closed-loop) 설계를 통해 학습 분포는 모델 능력과 공진화하여, 학습 가치가 제한적인 모호하거나 정보가 부족한 샘플을 걸러내는 동시에 중복된 사소한 예제를 줄입니다. 6개의 공간 추론 벤치마크(benchmark)에서 Ouroboros-Spatial은 최근 대규모 큐레이션 데이터셋보다 훨씬 적은 수의 학습 예제를 사용하면서 Qwen3-VL-4B 및 Qwen3-VL-8B를 실질적으로 향상시켰습니다. VSI-Bench에서는 4B 및 8B 모델에 대해 각각 9.9점 및 6.8점의 절대적인 향상을 이끌어내어, 두 모델 모두 다양한 강력한 오픈 소스 및 독점 베이스라인을 능가하도록 했습니다.
멀티모달 대규모 언어 모델(MLLM)이 놀라운 진전을 이뤘지만, 2D 이미지로부터 3D 공간 관계를 이해하는 것은 여전히 중요한 과제로 남아 있다. 기존 방법은 주로 기호적 텍스트 토큰(symbolic text tokens)에 의존하는데, 이는 연속적인 기하 정보를 표현할 충실도를 본질적으로 갖추지 못한다. 최근 방법들은 추론을 강화하기 위해 잠재 표현(latent representations)을 사용하지만, 단일 잠재 유형에만 의존하면 다양한 공간 과제에 적응하지 못해 복잡한 기하 시나리오에서 정렬 불일치가 발생한다. 이러한 한계를 해결하기 위해, 저희는 교차형 텍스트-잠재 추론 프레임워크인 GeoAnchor를 제안한다. GeoAnchor는 3D 공간 정보를 세 가지 상보적 구성 요소로 분해한다: 객체 그라운딩(grounding)을 위한 위치 잠재(position latents), 관계적 방향(relative orientation)을 위한 방향 잠재(direction latents), 장면 구조를 위한 기하 잠재(geometry latents). 이 구성 요소들은 구조화된 공간에서 재결합되어 전역 맥락을 포착하면서 국소 증거를 구성하며, 동적이고 해석 가능한 추론을 가능하게 한다. 또한, 모델을 국소 공간 지각에서 포괄적인 3D 이해로 이끄는 협력적 학습(training) 전략을 도입한다. 다양하고 복잡한 3D 추론 과제에 대한 광범위한 실험을 통해 GeoAnchor가 최신(state of the art) 성능을 능가하며, 그 효과와 일반화 능력을 입증함을 보여준다.
대규모 언어 모델(LLM) 기반 게임 에이전트는 종종 더 복잡한 과제에서 낮은 성능을 보인다. 본 연구는 이러한 실패가 제한된 공간적 추론과 연관되는지 검토하고, 인과적 프롬프트 증강과 다단계 계획이 응답 지연(latency)을 관리하면서 승률을 개선할 수 있는지 평가한다. 오픈소스 Qwen3 모델 계열을 사용하여 다양한 모델 규모, 추론 모드, 계획 지평(planning horizon)에 걸쳐 실험을 수행한다. 또한 공간 내비게이션을 분리하기 위해 5개 난이도 수준을 갖춘 3개의 맞춤형 게임으로 구성된 집중형 GVGAI 벤치마크를 도입한다. 평가는 두 가지 패러다임을 따른다: 에이전트가 정확한 좌표를 찾는 능력을 시험하는 초기 ``위치 지정 실험(positioning experiment)''과 게임 플레이 성공에 대한 연구. 결과는 사고(thinking) 모드가 활성화된 더 큰 모델이 자신의 위치를 더 정확하게 식별하지만, 좌표 일치에서의 전반적인 성능은 더 작은 모델에서 여전히 제한적임을 보여준다. 승률은 게임 레벨과 레이아웃 복잡도가 증가함에 따라 감소하며, 이는 벤치마크의 난이도 스케일링을 검증한다. 프롬프트에 인과적 컨텍스트를 통합하면 에이전트의 성공률이 향상되는 경향이 있으며, 특히 더 큰 모델에서 그렇다. 사고 모드와 더 긴 계획 지평을 활성화하면 성능이 크게 향상되지만, 다단계 계획은 평균 단계당 응답 시간을 추가로 줄여 추론 깊이와 실행 속도 사이의 실용적인 절충을 제공한다.
비록 빠른 진전이 있었지만, 2D 시각 입력으로 구축된 대부분의 기존 비전-언어 모델(VLM)은 미세한 공간 이해와 추론을 요구하는 다양한 3D 작업을 처리할 때 종종 어려움을 겪는다. 이 격차를 해소하기 위해, 우리는 RGB 비디오로부터 학습된 암시적·명시적 3D 기하를 모두 갖추어 VLM의 3D 공간 인식을 향상시키는 통합 프레임워크인 VLM-IE3D를 제안한다. VLM-IE3D는 입력 비디오로부터 고수준 기하 사전지식(prior)을 포착하는 암시적 기하 토큰(Implicit Geometry Tokens, IGTs)과, 재구성된 3D 속성으로부터 상세한 기하 구조를 인코딩하는 보완적 명시적 기하 토큰(Explicit Geometry Tokens, EGTs)을 도입한다. 더 나아가 VLM-IE3D는 두 유형의 기하 표현을 2D 시각 단서와 효과적으로 융합하는 3D 인식 어댑터를 포함한다. 이 RGB 전용 설계는 추가 3D 입력 없이도 미세한 공간 이해와 추론을 위한 강한 3D 귀납 편향(inductive bias)을 주입한다. 광범위한 실험 결과, VLM-IE3D는 3D 비디오 검출, 3D 시각적 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 다양한 3D 작업에서 일관되게 우수한 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/Vegetebird/VLM-IE3D에서 이용할 수 있다.
비주얼 이해에서 눈에 띄는 진전에도 불구하고, 다중모달 대규모 언어 모델(MLLM)은 공간 관계를 추론할 때 여전히 환각에 취약하며, 장면의 실제 3D 구조와 모순되는 판단을 내는 경우가 많다. 기존 여러 연구가 환각 완화를 제안했지만, 우리의 분석에 따르면 이들은 2D 시각 표현과 3D 공간적 현실 사이의 근본적 격차를 메우지 못해 공간 추론에서 제한적인 효과만을 보인다. 이 발견을 바탕으로, 우리는 공간 구조 모델링의 부족에서 기인하는 환각을 공간 추론 환각(spatial reasoning hallucination)으로 정의하며, 이는 기존 완화 방법이 다루지 못하는 관계 환각(relation hallucination)의 하위 범주이다. 또한 이러한 환각이 빈번히 발생하는 세 가지 전형적 시나리오를 밝혔다: 원근 효과(perspective effects), 객체 방향(object orientation), 시점 변화(viewpoint changes). 이에 우리는 기하학적 증거와 구조화된 3D 추론을 통합하여 공간 추론 환각을 완화하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 Geo3R을 제안한다. 세 가지 시나리오를 모두 아우르는 18개 과제를 포함한 세 벤치마크에서의 실험 결과, Geo3R은 추가 학습 없이 다양한 MLLM에서 공간 추론 환각을 크게 줄였으며, 기존 모델과 방법들을 능가했다.
공간 지능(spatial intelligence)은 에이전트가 정적 의미 이해에서 물리 세계와 상호작용하는 단계로 나아가는 데 필수적이다. 많은 공간 과제는 연속적인 시각 장면에 그라운딩(grounding)되어 있으며, 위치·영역·경로는 정확한 좌표나 이산적인 텍스트 기호를 보고하는 것보다 가리키기, 표시, 그리기로 표현하는 것이 더 자연스럽다. 그러나 기존 공간 추론 벤치마크는 보통 좌표, 선택지, 또는 텍스트를 요구하여 이미지 생성 모델에 답변 인터페이스 불일치를 만든다. 이는 픽셀 공간에 공간 판단을 직접 외재화할 수 있는 능력에도 불구하고, 텍스트 출력 VLM과 동일한 과제 의미론 하에서 이미지 생성 모델을 평가하기 어렵게 만든다. 우리는 ProVisE(Protocolized Visual Evaluation)를 제안한다. 이는 벤치마크에 구애받지 않는 프레임워크로, 이미지 생성 모델로부터 프로토콜 제약 시각 답변을 유도하고 이를 원래 메트릭과 호환되는 구조화된 예측으로 파싱한다. ProVisE는 또한 새로운 벤치마크를 위한 과제별 프로토콜을 구성하고 검증하는 에이전틱(agentic) 빌더를 포함한다. 또한 SpatialGen-Bench를 도입한다. 이는 14개 공간 하위 과제, 4개 역량 수준, 다양한 답변 형식에 걸친 470개 샘플로 구성된 큐레이션된 진단 벤치마크이다. 대표적인 텍스트 출력 VLM과 이미지 생성 모델을 통합 설정에서 평가하고, 6개 외부 공간 벤치마크에서 에이전틱 프로토콜 구성을 검증한다. 결과는 공간 답변이 픽셀 공간에 직접 외재화될 수 있을 때 이미지 생성 모델이 경쟁력을 보인 반면, 텍스트 출력 VLM은 조합적 공간 추론에서 뚜렷한 우위를 유지함을 보여준다. 이러한 발견은 픽셀 공간 표현과 텍스트 기반 추론의 상보적 강점을 밝히고, 이미지 생성 모델의 공간 인지 연구를 위한 메트릭 호환 테스트베드(testbed)를 확립한다.
실세계 공간 지능은 연속적이고 진화하는 3D 세계에 대한 추론을 요구하지만, 기존 비전-언어 모델(VLM)과 도구가 강화된 에이전트는 대부분 고립된 시각적 관찰로부터의 정적이고 상태가 없는(stateless) 추론에 여전히 의존하고 있습니다. 우리는 연속적인 다중 뷰 이미지와 비디오를 이해하고 추론하기 위한 공간 도구 사용 에이전트 패러다임인 S-Agent를 소개합니다. 공간 추론을 고립된 프레임 수준 예측이 아닌 시공간적 증거 누적(spatio-temporal evidence accumulation)으로 정의함으로써, S-Agent는 공간 지각을 프레임 중심(frame-centric) 인식을 넘어선 장면 중심(scene-centric) 이해로 재구성합니다. 구체적으로, S-Agent는 필요한 증거를 결정하는 의미론적 계획자(semantic planner)로서 VLM을 활용하는 반면, 공간 도구 및 전문가들의 계층 구조는 객체를 2D에 그라운딩(grounding)하고 이를 3D 기하학적 증거로 리프트(lift)하며, 이 증거를 고차원 공간 지식(예: 계수, 측정, 방향, 상대 위치)으로 집계합니다. 또한, 진화하는 장면 상태를 유지하기 위한 장면 메모리(Scene Memory)와 추론 컨텍스트를 누적하기 위한 에이전트 메모리(Agent Memory)를 포함하는 시간적 메모리 메커니즘은 프레임 및 추론 단계에 걸친 증거 통합을 가능하게 합니다. 다중 뷰 및 비디오 공간 추론 벤치마크에 대한 포괄적인 실험 결과, S-Agent는 학습 없이(training-free) 오픈 소스 및 폐쇄형 VLM 모두를 일관되게 개선하는 것으로 나타났습니다. 추론 시간 증강(augmentation)을 넘어, S-Agent가 생성한 공간 궤적 데이터셋인 S-300K에 대한 지도 미세조정(SFT)을 통해 S-Agent-8B라는 소형 공간 에이전트를 얻었으며, 이는 유사한 규모의 기준 모델(예: Qwen3-VL-8B)을 현저히 능가하고 고급 폐쇄형 모델(예: GPT-5.4 및 Gemini 3)과 유사한 성능을 발휘합니다.
다중모달 대규모 언어 모델(MLLM)은 공간 이해에서 상당한 잠재력을 보여주었다. 기존 연구는 일반적으로 사전 학습된 파운데이션 모델(foundation model)에서 추출한 사전(prior) 지식을 통합하여 MLLM의 공간 인식을 더욱 향상시킨다. 본 논문에서는 먼저, 다양한 파운데이션 모델을 MLLM에 통합할 때 서로 다른 모델이 서로 다른 과제에 유리한 상호 보완적인 공간 사전(prior)을 제공한다는 점을 밝힌다. 이에 동기를 받아, MLLM에 다양한 모델의 여러 $\textbf{Vi}$sual $\textbf{P}$riors를 통합하여 $\textbf{S}$patial understanding 잠재력을 최대한 발휘하도록 설계된 새로운 다중 모델 사전(prior) 프레임워크인 $\textbf{ViPS}$를 제안한다. 구체적으로, ViPS는 최소한의 추론(inference) 오버헤드로 여러 파운데이션 사전(prior)을 생성하는 Efficient Prior Proxy와, 사전(prior) 프록시로부터 조화롭고 문맥 인식(context-aware)적인 사전(prior) 융합 및 주입을 달성하는 Dynamic Prior Fusion 메커니즘을 도입한다. 광범위한 실험을 통해 ViPS가 다양한 시각적 사전(prior)을 성공적으로 조화시키며, 여러 복잡한 공간 추론(spatial reasoning) 및 3D 공간 이해 벤치마크(benchmark)에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 프로젝트 페이지: https://visual-ai.github.io/vips
자기중심적 시각 질의응답(Egocentric Visual Question Answering, VQA)은 멀티모달 대규모 언어 모델(MLLM)이 실세계와 상호작용할 수 있도록 하는 중요한 과제로서 널리 주목받고 있다. 그러나 기존 MLLM은 공간 인지 능력이 제한적이어서 복잡한 자기중심적 장면에서 효과적인 공간 추론을 수행하는 데 어려움을 겪는다. 이를 위해 우리는 제안한 Ego-element Graph를 기반으로 자기중심적 관점에서 공간 인지 능력을 적극적으로 향상시키는 자기중심적 공간 인지 프레임워크인 Ego Scene Augmentation(ESA)을 제안한다. 우리의 핵심 통찰은 시각 기초 모델(visual foundational models)을 통해 Ego-element Graph를 중간 표현으로 활용하여 MLLM의 자기중심적 공간 인지를 증강하는 것이다. 구체적으로, 우리는 1) 시각 기초 모델이 제공하는 자기중심적 공간 특징을 캡슐화하고 통합하는 Ego-element Graph를 구축하고, 2) 자기 시점 장면에 대해 Ego-element Graph를 통해 MLLM의 공간 인지 능력을 향상시킨다. 제안한 ESA 프레임워크는 EgoTextVQA 벤치마크에서 유의미한 성능 향상을 보여준다. 실내 설정에서 8.14%, 실외 설정에서 8.72%의 향상을 달성했다. 또한 ESA는 실내 설정의 쇼핑(shopping) 하위 집합에서 가장 인상적인 성능 향상을 보인다. 프로젝트 코드는 공개되어 있다.
시각적 공간 지능은 의료 영상 해석에 핵심적이지만, 3D 영상을 위한 다중모달 대규모 언어 모델(MLLM)에서는 여전히 거의 탐구되지 않았다. 이 격차는 기본 라벨을 넘어선 구조화된 3D 공간 주석을 포함하는 데이터셋의 체계적 부재로 인해 지속된다. 본 연구에서는 체적 추정 및 바운딩 박스(bounding box) 추출과 같은 계산 도구를 다중 에이전트 협업과 전문 방사선과 의사 검증과 함께 조율하여 공간적 시각 질의응답(VQA) 데이터를 자율적으로 합성하는 에이전트 파이프라인을 제안한다. 또한 의료 MLLM의 3D 공간 지능을 평가하기 위한 최초의 포괄적 벤치마크인 SpatialMed를 제시하며, 이는 여러 장기와 종양 유형에 걸쳐 31,253개의 질의-응답 쌍으로 구성된다. 24개의 최신 MLLM에 대한 평가와 광범위한 분석을 통해, 현재 모델들은 의료 영상에 대한 견고한 공간 추론 능력이 부족함을 밝힌다.
멀티모달 대규모 언어 모델(MLLM)은 2D 의료 영상 이해에서 뛰어난 성과를 보여 왔지만, 3D 볼륨 영상으로의 확장은 막대한 주석 비용과 데이터셋의 불투명성으로 인해 여전히 어렵다. 현재 데이터 형식은 주로 경직된 시각적 질의응답(VQA) 쌍이나 비구조화된 최종 임상 보고서로 구성되어, 명시적인 임상 추론을 포착하는 데 실패하는 경우가 많다. 이 한계를 해결하기 위해, 우리는 새로운 슬라이스 단위 데이터 합성 패러다임을 통해 구축한 대규모 구조화 추론 데이터셋을 제안한다. 방사선과 전문의의 실제 진단 워크플로에 영감을 받아, 이 패러다임은 복잡한 3D 판독 과정을 분해하여 시각 인지를 모델링하고, 전역적 임상 사전지식을 세밀한 슬라이스별 관찰로 변환한 뒤 이를 해석 가능한 사고의 연쇄(CoT)로 종합한다. 핵심적으로, 이 합성 추론 프레임워크는 필수적인 임상 원칙을 강제한다: 순차적 공간 추적, 아티팩트 완화를 위한 다중 슬라이스 공간 인식, 그리고 감별적 배제. 이 접근법을 검증하기 위해, 우리는 합성 데이터를 이용해 표준 2D 사전학습 MLLM 기준선을 인스트럭션 튜닝하여 볼륨 이해를 향상시켰다. 여러 3D 의료 벤치마크에 걸친 포괄적 평가에서 우리 방법은 2D 기준선 대비 유의미한 성능 향상을 보였다. 더 나아가, 결과 모델은 견고한 공간 추론 능력을 나타내며 자원 집약적인 네이티브 3D 아키텍처에 필적하여 성능 격차를 효과적으로 좁혔다. 궁극적으로, 이 데이터 중심 전략은 계산 비용이 높은 3D 특화 사전학습 없이도 심층적 볼륨 이해와 높은 해석 가능성을 가진 임상 논리를 가능하게 한다. 데이터셋과 학습 워크플로를 포함한 전체 저장소는 https://github.com/2020420145009/hounsfield 에서 공개적으로 이용 가능하다.
인간은 몇 시간에서 수년에 이르는 연속적인 감각 스트림을 효율적으로 파싱하여, 공간적 추론과 예측을 그라운딩(grounding)하는 내부 세계 모델(world model)을 구축할 수 있다. 이 능력을 모방하기 위해 공간 초지각(spatial supersensing)은 멀티모달 모델에게 언어적 이해를 넘어 진정한 세계 모델링(world modeling)으로 나아가도록 도전 과제를 제시한다. 그러나 기존 벤치마크는 무작위 짧은 클립을 이어 붙여 만든 합성 장기 영상에 의존하며, 대체로 가정 실내 장면에 한정되어 있어 실세계의 연속성과 다양성은 충분히 탐구되지 않았다. 이 간극을 해소하기 위해, 다양한 실환경(in-the-wild) 장면에서 긴 시간적 범위(temporal horizon)에 걸친 공간 초지각을 평가하는 대규모 벤치마크인 $\textbf{VSI-Super-Wild}$를 제안한다. 특히 인간이 경험을 구조화하는 방식에 대한 인지 연구에서 영감을 받아, 세계 상태(world state)의 전체 삼중 주체를 체계적으로 탐색한다: 에이전트(관찰자), 객체(장면 항목), 환경(장소 및 전역 레이아웃). $\textbf{VSI-Super-Wild}$는 총 8개 장면 범주에 걸친 $\textbf{442}$개의 실세계 영상에서 파생된 $\textbf{6,980}$개의 사람이 검증한 질의-응답(question-answer) 쌍을 포함하며, 4시간을 넘는 장시간 녹화도 포함한다. $\textbf{VSI-Super-Wild}$에서의 결과는 근본적인 단절을 드러낸다: 정적 이미지 이해의 발전에도 불구하고, 모델은 시간에 걸친 일관된 세계 상태 추적을 요구하는 과제에서 지속적으로 실패한다. 우리는 세계 상태 복잡도와 시간적 범위에 따른 성능 저하 양상을 규명하고, 네 가지 실패 모드—공간 붕괴(spatial collapse), 의미적 지름길(semantic shortcuts), 불충분한 갱신(insufficient update), 인스턴스 혼동(instance confusion)—을 진단한다. 이 분류 체계는 모델이 객체, 에이전트, 환경을 통합된 공간적 세계 모델로 결합(bind)하는 메커니즘을 갖추지 못했음을 보여주며, 이는 공간 초지각을 위한 앞으로의 방향을 규정하는 근본적 격차이다.