비전-언어 모델(VLM)은 공간 추론이 기준 좌표계에 따라 의미가 달라지는 관계들을 조합해야 할 때 여전히 신뢰할 수 없다. 기존 신경-심볼릭(neuro-symbolic) 방법은 추론을 더 명시적으로 만들지만, 종종 불안정한 기하학적 절차와 노이즈가 많은 지각(perception)에 대한 경성(hard) 결정에 의존한다. 우리는 관점 인식(perspective-aware) 구성적(compositional) 공간 추론을 위한 신경-심볼릭 프레임워크인 SATURN을 제안한다. SATURN은 근사 3D 장면을 재구성하고, 소프트(soft) 관점 인식 공간 술어(predicates)를 도출한 뒤, 학습 없는(training-free) Pythonic 심볼릭 실행기(symbolic executor)로 이를 조합하여, 다중 홉(multi-hop) 추론을 통해 불확실성을 보존하면서 지각과 추론을 분리한다. 또한 공간 배치 그라운딩(SAG)과 지시 표현 그라운딩(REF)에 걸쳐 추론 깊이, 시점(view), 관점 구성을 제어하는 진단 벤치마크인 3D FORCE를 도입한다. 3D FORCE에서 VLM과 공간적으로 학습된 모델은 깊이와 관점 복잡도가 증가할수록 급격히 성능이 저하되는 반면, SATURN은 안정적으로 유지되며 강력한 기준선들을 능가한다. 실세계 벤치마크 MindCube에서 SATURN은 78.57%의 전체 정확도를 달성하여, 가장 강력한 기준선보다 14%p 높다.
멀티모달 대규모 언어 모델(MMLM)은 2D 시각 태스크에서 뛰어난 성능을 달성했지만, 자율주행 차량(AV)과 같은 실제 응용을 위한 공간 지능을 향상시키는 것은 여전히 미해결 과제로 남아 있다. 기존의 기하 인식 MLLM은 일반적으로 추론 시점에 보조 3D 모델에 의존하여 파이프라인 복잡도와 연쇄적 실패 위험을 초래한다. 본 논문에서는 순수 2D 관측만으로 기하 인식 공간 추론을 수행하는 단순하면서도 효과적인 플러그 앤 플레이 패러다임인 OmniSpace를 제안한다. 현재 MLLM이 취약한 교차 뷰 대응(cross-view correspondence)과 깊이 추정에 병목이 있다는 발견에 영감을 받아, OmniSpace는 Camera Pose Injector, Multi-view Epipolar 어텐션 모듈, 그리고 3D 기하 지식 증류(distillation) 목적함수를 도입하여 기하학적 지식을 모델로 전이함으로써 이 두 한계를 공동으로 해결한다. 광범위한 실험 결과, OmniSpace는 계획(planning) 벤치마크(nuScenes, Bench2Drive), 위험 탐지(nuInstruct), 언어(Omnidrive), 일반화(DriveBench)에서 기존 방법들을 능가한다.
인간은 서로 다른 시점에서 장면에 대해 손쉽게 추론할 수 있지만, 비전-언어 모델(VLM)이 유사한 교차 시점 공간 능력을 갖추고 있는지는 여전히 불분명하다. 위성-스트리트 장면 쌍은 복잡한 맥락과 극단적인 시점 변화를 지니므로 이상적인 시험대를 제공한다. 이에 영감을 받아, 위성-스트리트 쌍을 통한 교차 시점 공간 추론 평가를 위한 대규모 벤치마크 CVSBench를 제안한다. 이 벤치마크는 교차 시점 VQA, 교차 시점 그라운딩(grounding), 시점 식별(viewpoint identification) 등 다양한 과제를 지원한다. CVSBench는 3,297개의 교차 시점 이미지 그룹, 9,468개의 객체 수준(object-level) 어노테이션, 40,679개의 질문-답변(QA) 쌍으로 구성되어 교차 시점 공간 추론의 체계적이고 통제된 평가를 가능하게 한다. 광범위한 평가 결과, 고급 VLM은 급격한 시점 변화 하에서 객체 수준 및 레이아웃(layout) 일관성을 유지하는 데 어려움을 겪는 것으로 나타난다. 인간과 유사한 공간 인지(spatial cognition)로의 격차를 줄이기 위해, 공간 기반 추론(spatially grounded reasoning)과 인지 지도(cognitive map) 입력 통합이라는 두 범주의 접근법을 조사한다. 우리의 결과는 언어만을 이용한 추론(language-only reasoning)은 미미한 개선만을 가져오는 반면, 3D 장면 상상(scene imagination) 파이프라인을 통한 시각적 공간 상상(visual spatial imagination) 통합은 교차 시점 추론을 실질적으로 향상시킴을 보여준다. 이러한 결과는 VLM에서 견고한 공간 인지를 위해 명시적 시각-공간(visual-spatial) 표현의 필요성을 강조한다. 데이터와 코드는 https://huggingface.co/datasets/zlyzlyzly/CVSBench 에서 공개된다.
멀티모달 대규모 언어 모델(MLLM)은 정밀한 공간 추론 수행 중 올바른 이미지 영역을 추적하지 못하는 경우가 많은데, 이는 텍스트 쿼리가 픽셀 도메인으로의 명시적인 기하학적 앵커를 거의 포함하지 않기 때문입니다. 기존의 해결책은 모델의 가중치를 수정하거나 프롬프트에 장황한 지시사항을 추가하는 방식이지만, 이 두 방법 모두 백본의 일반적인 성능을 저하시키지 않으면서 언어를 올바른 시각적 좌표에 확실히 고정하지는 못합니다. 본 연구에서는 멀티모달 이해를 입력 단계에서 해결되는 정렬 문제로 재구성하는 Timage라는 패러다임을 소개합니다: 쿼리가 조판 오버레이 형태로 이미지 자체에 그려지는 방식입니다. 이 오버레이의 배치와 외형은 제약 슈뢰딩거 브리지(Constrained Schrödinger Bridge, cSB)에 의해 생성되며, cSB는 레이아웃 합성을 두 개의 결합된 확률적 단계로 분해하는 엔트로피 최적 전송 샘플러입니다. 첫 번째 단계인 영역 탐색(Region Search)은 두드러진 전경 콘텐츠를 보호하는 강한 폐색 장벽을 준수하면서 노이즈를 쿼리에 정렬된 이미지 영역으로 전송합니다. 두 번째 단계인 외형 형성(Appearance Shaping)은 '잉크 예산(ink-budget)' 정규화기를 통해 글리프의 크기를 조정하여 렌더링된 텍스트가 가독성을 유지하고 시각적으로 균형을 이루도록 합니다. 결과적으로 생성된 오버레이는 모델의 초점을 공간적 의미를 따라 유도하는 명시적인 어텐션 비콘 역할을 수행합니다. VMCBench 벤치마크에서, 적당한 규모의 7B 백본과 결합된 Timage는 훨씬 더 큰 독점 시스템뿐만 아니라 매개변수 튜닝된 베이스라인 모델들도 명확히 능가하는 성능을 보였습니다. 본 연구는 의도적인 입력 재구성이 멀티모달 추론을 강화하는 강력하며 아키텍처에 독립적인 수단이 될 수 있음을 제시합니다.
멀티모달 대규모 언어 모델(MLLM)은 2D 의미 이해에 탁월하지만 내재된 3D 인식이 부족하여, 비디오 프레임 간에 기하학적 및 공간적 일관성을 유지하지 못하는 표현을 생성합니다. 대규모 3D 데이터의 희소성을 고려하여, 우리는 순수한 2D 비디오 시퀀스를 사용하여 기하학적 표현을 학습하는 새로운 프레임워크인 GeoVR을 제시합니다. 이 접근 방식은 MLLM 내부의 의미 잠재 공간을 효과적으로 재구성하여 공간 지능을 발휘할 수 있게 합니다. 표면적인 특징 혼합을 사용하는 대신, GeoVR은 사전 학습된 3D 파운데이션 모델로부터 기하학적 지식을 증류하여 MLLM의 내부 표현을 재구성합니다. 이는 네 가지 상호 보완적인 기하학적 목표에 의해 주도되는 다목적 학습 전략을 통해 달성됩니다: (1) 변화하는 관점 역학을 임베드하기 위한 프레임 간 카메라 포즈 추정, (2) 물리적 거리를 고정하기 위한 밀집 깊이 맵 회귀, (3) 실제 세계 보정을 위한 메트릭 스케일 인자 예측, (4) 중간 특징 공간을 정렬하기 위한 멀티스케일 3D 특징 증류. 이러한 명시적인 물리적 및 기하학적 제약 조건의 안내를 받아, 모델의 내부 표현은 자연스럽게 강력한 3D 인식 능력을 발달시킵니다. 공간 추론 벤치마크에 대한 광범위한 실험을 통해 GeoVR이 최첨단 성능을 달성함을 입증하며, 이는 파운데이션 모델에 공간 지능을 부여하는 새로운 패러다임을 확립합니다.
비전-언어 모델은 장면 내 객체를 신뢰할 수 있게 명명하지만, 해당 객체가 위치한 3D 레이아웃을 표현하는가? 우리는 공간적 이해의 세 가지 구성 요소를 타겟팅하는 3,034개의 인간이 큐레이션한 벤치마크를 소개한다: 깊이 순서 가려짐(occlusion, 세 가지 독립적인 반사실적 조작화를 통해 탐색됨), 가시적 반사에 대한 광학-기하학적 추론, 그리고 체적 재배치 계획이다. LLM-as-judge 없이 훈련된 주석자가 18,204개의 응답에 대해 점수를 매긴 6개의 최신 및 오픈 가중치 VLM은 뚜렷한 괴리를 보여준다: 가시적 레이아웃에 대한 재배치를 53~97%의 정확도로 계획하고 충돌 제약 조건을 거의 위반하지 않는 모델들은 가려짐에서는 6~45%로 떨어지고 반사에서는 7% 미만으로 떨어진다. 구현 기반 추론(embodied-reasoning) 모델 또한 동일한 프로필을 재현한다. Qwen3-VL-8B-Thinking에 대한 화이트박스 분석은 실패가 비전 토큰 병합(merger)에 국한됨을 보여준다: 비전 인코더 전반에서 복구 가능한 공간 정보는 토큰 압축 후 접근 불가능해지며, 병합 후 깨끗한 활성화(activations)가 언어 디코더에 패치(patch)될 때만 다시 안정화된다.
최근 멀티모달 대규모 언어 모델(MLLM)들이 주로 텍스트 인코더로서 디퓨전 프레임워크에 널리 통합되어 공간 추론과 같은 복잡한 작업을 해결하고 있습니다. 그러나 이 패러다임은 두 가지 치명적인 한계가 있습니다: (i) MLLM 텍스트 인코더는 불충분한 추론 깊이를 보입니다. 단일 단계 인코딩은 복잡한 작업에 대해 정확한 가이던스를 제공하는 데 필수적인 사고의 연쇄(Chain-of-Thought) 과정을 활성화하지 못합니다. (ii) 가이던스가 디코딩 과정 동안 불변으로 유지됩니다. 디코딩 과정 중의 불변 가이던스는 올바른 MLLM 인코딩이 있더라도 DiT가 복잡한 지시를 실행 가능한 디노이징 단계로 점진적으로 분해하는 것을 방해합니다. 이를 위해 우리는 내재적 사고의 연쇄(EndoCoT)를 제안합니다. 이는 반복적 사고 가이던스 모듈을 통해 잠재적 사고 상태를 반복적으로 정제하여 MLLM의 추론 잠재력을 먼저 활성화하고, 이러한 상태를 DiT의 디노이징 과정으로 연결하는 새로운 프레임워크입니다. 둘째, 최종 사고 그라운딩(grounding) 모듈을 적용하여 최종 상태를 정답(ground-truth)과 정렬시킴으로써 추론 궤적이 텍스트 감독에 기반하도록 보장합니다. 이 두 구성 요소를 통해 MLLM 텍스트 인코더는 면밀하게 추론된 가이던스를 전달하여, DiT가 이를 점진적으로 실행하고 궁극적으로 복잡한 작업을 단계별 방식으로 해결할 수 있게 합니다. 다양한 벤치마크(예: Maze, TSP, VSP, Sudoku)에 대한 광범위한 평가 결과 92.1%의 평균 정확도를 달성하여 가장 강력한 기준선(baseline)보다 8.3%포인트 높은 성능을 보였습니다. 코드와 데이터셋(dataset)은 https://internlm.github.io/EndoCoT/에서 공개적으로 제공됩니다.
비전-언어 모델(VLM)에서 3D 장면 이해를 위한 기존 접근법은 공간 추론을 위해 복잡하고 모델 특화 기하 인코더에 의존하거나, 대규모 학습 예산을 필요로 한다. 대신 OneCanvas는 모든 뷰의 패치 특징을 단일 등거리 원통 투영(equirectangular) 파노라믹 캔버스에 집약한다. 구체적으로, 각 패치는 깊이와 카메라 포즈를 이용해 3D 세계 좌표로 역투영한 뒤, 캔버스 원점에서 본 해당 점의 연속적인 경도·위도 위치에 배치되며, 겹치는 뷰 간 래스터화(rasterization)나 집약은 수행하지 않는다. 패치의 측정 좌표(metric coordinates)에 대한 3D 위치 임베딩을 특징에 더해, 세계 위치를 각도 기반 캔버스 좌표로 축소할 때 소실된 깊이를 복원한다. 이로써 모든 프레임의 패치는 백본의 융합이나 주요 아키텍처 수정 없이 하나의 공간 좌표계를 공유한다. 사전학습된 VLM은 이 표현을 일반 이미지처럼 입력으로 사용한다. 캔버스를 관심 있는 임의의 포즈를 중심으로 둘 수 있으므로, 동일한 표현은 로봇공학과 체화 AI(embodied AI)에서 흔히 요구되는 특정 시점에서의 상황적 추론을 직접 지원한다. 이 표현 덕분에 공간 사전학습 커리큘럼도 도입할 수 있다. 실제 이미지에서 추출한 객체의 패치 특징을 절차적으로 선택한 3D 세계 위치에, 그 외에는 비어 있는 캔버스 위에 배치함으로써, 광범위한 공간 추론 과제를 아우르는 즉석 감독을 생성하고, 답 분포를 제어하여 공간 추론 지름길을 줄인다. OneCanvas는 SQA3D와 VSI-Bench에서 최신(state-of-the-art) 수준의 정확도를 달성하고 SPBench의 분포 외(out-of-distribution) 데이터에 일반화하며, 가장 강력한 경쟁 방법보다 한 자릿수 적은 학습 연산량으로 이를 달성한다.
범용 구현형 에이전트(embodied agent)는 객체 인식 그 이상이 필요합니다. 이들은 상황화된 시각적 관찰로부터 공간 관계, 행동, 절차, 인간 의도, 환경적 제약, 그리고 상식적 결과에 대해 추론해야 합니다. 그러나 기존의 시각 및 구현형 질의응답 벤치마크는 테스트되는 추론 의존성에 대한 제어가 제한적인 경우가 많아, 그라운딩된(grounded) 구현형 추론과 지름길(shortcut) 기반의 시각적 또는 언어적 패턴 매칭을 구별하기 어렵습니다. 본 논문에서는 구현형 AI(Embodied AI)에서의 추론을 위한 진단용 벤치마크인 ERQA-Plus를 소개합니다. ERQA-Plus는 711개의 로봇 중심 이미지에 기반한 1,766개의 질문-답변 인스턴스를 포함하며, 지각적, 행동 중심, 사회적 상호작용, 네비게이션-환경, 그리고 맥락적 상식 추론에 걸친 구조화된 분류 체계에 따라 구성되었습니다. 이 데이터셋은 시각적 그라운딩(grounding), 답변 타당성, 그리고 추론 품질을 향상시키기 위해 분류 체계 기반 질문 생성, 자동 품질 판단, 반복적 수정, 그리고 인간 평가를 결합한 다단계 생성 및 검증 파이프라인을 사용하여 구축되었습니다. 우리는 LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL, RoboRefer-8B, RoboBrain2.5-8B를 포함한 대표적인 범용 비전-언어 모델(vision-language model)과 구현형 모델을 벤치마킹했습니다. 가장 강력한 모델인 Qwen3-VL-32B가 83.4%의 전체 정확도와 61.4의 SBERT 점수를 달성했지만, 카테고리 수준의 결과는 공간 추론, 절차적 추론, 사건 예측, 그리고 의도 추론에서 지속적인 약점을 보여줍니다. 따라서 ERQA-Plus는 구현형 에이전트가 올바르게 답변하는지 여부뿐만 아니라, 어떤 형태의 구현형 추론을 신뢰할 수 있게 수행할 수 있는지와 없는지를 측정하기 위한 세분화된 평가 프레임워크를 제공합니다. 데이터셋은 https://huggingface.co/datasets/huggingdas/erqa-plus 에서, 프로젝트 페이지는 https://github.com/LUNAProject22/erqa-plus 에서 확인할 수 있습니다.
대규모 추론 모델(LRM)의 공간 추론 성능 저하 문제를 해결하기 위해, 기하학적 제약 조건에서의 논리적 일관성을 강화하는 자기 지도 강화학습(RL) 프레임워크를 제안한다. 실제 정답 레이블 없이 이미지 및 텍스트 변환을 통한 일관성 검증자를 활용한 이 방법은 지도 학습 모델에 근접한 정확도와 일반화 성능을 달성한다.
공간 비전-언어 모델(Spatial VLM)은 기하학적 지각에서 상당한 진전을 이루었으나, 깊이, 거리 및 장면 관계에 걸친 다단계 추론을 요구하는 복잡한 공간 추론은 여전히 어려운 과제로 남아 있습니다. 더욱이, 서로 다른 공간 질의는 근본적으로 상이한 전략을 요구합니다. 일부는 순수하게 언어적인 단계별 연역을 통해 가장 잘 해결되는 반면, 다른 일부는 정량적 추론 이전에 명시적인 3D 그라운딩(grounding)이 필요합니다. 본 논문에서는 공간 비전-언어 모델을 위한 강화학습 기반 이중 경로 공간 추론(SR-REAL)을 제시합니다. 이는 공간 비전-언어 모델에 두 가지 상호 보완적인 추론 경로를 갖추게 하는 통합 프레임워크로, 단계별 언어적 연역을 수행하는 언어 전용 추론(Language-Only Reasoning, LOR)과 명시적인 기하학적 추론 이전에 영역 토큰(region tokens)을 통해 3D 기하학적 단서(예: 중심점 또는 경계 상자)를 탐지하는 탐지 후 추론(Detect-Then-Reason, DTR)으로 구성됩니다. SR-REAL은 LOR 및 DTR의 사고의 연쇄(chain-of-thought) 지도 신호를 구성하고 영역-3D 인터페이스를 제공하는 콜드 스타트(cold-start) 지도 미세조정 단계로 시작하며, 이어 정확도와 형식 보상을 통해 정책 모델을 최적화하는 강화학습(RL) 단계가 뒤따릅니다. DTR의 경우, 이산적인 중심 기반 탐지 보상이 기하학적 정렬을 더욱 정교하게 다듬습니다. 다양한 공간 벤치마크(benchmarks)에서 SR-REAL은 기존 공간 비전-언어 모델 베이스라인을 크게 초과하는 성능을 보였습니다: (i) 단일 강화학습 학습 모델이 두 가지 추론 경로를 모두 지원하며, DTR은 정밀한 3D 지역화(localization)를 통해 영역 인식 작업에서 탁월한 성과를 보이고 LOR은 일반적인 공간 추론을 향상시킵니다; (ii) 두 경로의 공동 학습은 상호 강화 효과를 촉진합니다; (iii) 고품질의 혼합 콜드 스타트 데이터는 안정적인 강화학습 최적화에 결정적입니다; (iv) 해당 모델은 작업별 튜닝 없이도 데이터셋과 도메인 전반에 걸쳐 일반화되며, LOR과 DTR 간의 긍정적 전이(positive transfer)를 입증합니다.
비전-언어 모델(VLMs)은 다양한 멀티모달 벤치마크에서 강력한 성능을 달성하지만, 추상적인 상부(overhead) 표현을 자기 중심적 시점(egocentric view)과 정렬해야 하는 공간 추론 작업에서는 여전히 취약성을 보입니다. 본 연구에서는 동일한 실제 교차로에서 촬영된 스트리트 뷰 이미지와 북쪽이 위를 향하는 상부 지도를 정렬하여 카메라 시점 방향을 추론하도록 요구하는, 지도-스트리트 뷰 공간 추론을 위한 확장 가능한 벤치마크인 m2sv를 소개합니다. 또한 통제된 모호성을 포함하는 지리적으로 다양한 벤치마크인 m2sv-20k와 지도 미세조정(supervised fine-tuning)을 위한 구조화된 추론 트레이스(reasoning traces)로 구성된 엄선된 데이터셋인 m2sv-sft-11k를 공개합니다. 기존 멀티모달 벤치마크에서 강력한 성능을 보임에도 불구하고, 평가된 VLM 중 최상위 모델은 m2sv에서 단 65.2%의 정확도만을 기록했습니다. 이는 평균 72.0%(전문가의 경우 95%)에 달하며 높은 주석자 간 일치도($\kappa$ 최대 0.76)를 보인 인간 주석자의 성과보다 낮은 수준입니다. 지도 미세조정과 강화학습(reinforcement learning)이 일관된 성능 향상을 이끌어내지만, 교차 벤치마크 평가(cross-benchmark evaluations)를 통해 전이(transfer)가 제한적임이 밝혀졌습니다. 전체 정확도를 넘어, 구조적 신호와 인간의 노력을 활용하여 지도-스트리트 뷰 추론의 난이도를 체계적으로 분석하였으며, 적용된 오픈 모델들에 대한 광범위한 실패 분석을 수행했습니다. 연구 결과는 기하학적 정렬, 증거 집계, 추론 일관성 측면에서 여전히 존재하는 격차를 강조하며, 시점 간의 그라운딩된(grounded) 공간 추론에 대한 향후 연구의 필요성을 시사합니다.
공간 추론(spatial reasoning) — 객체의 위치, 관계, 3D 상에서의 움직임을 파악하는 능력 — 은 비전-언어 모델(VLM)에게 근본적인 도전 과제로 남아 있다. 도구 증강(tool-augmented) 에이전트는 VLM에 전문 인식 모듈을 결합하여 이를 해결하고자 하지만, 그 효과는 도구를 호출하는 액션 인터페이스의 설계에 의해 제한된다. 본 연구에서는 이 인터페이스의 설계가 개방형 공간 추론에 대한 에이전트의 역량을 어떻게 형성하는지 살펴본다. 기존의 공간 에이전트는 중간 결과를 관찰하기 전에 전체 분석 전략을 확정짓는 단일 패스 코드 실행(single-pass code execution) 방식을 사용하거나, 연산을 자유롭게 조합하거나 태스크별로 분석을 조정하는 유연성이 부족한 구조화된 도구 호출(tool-call) 인터페이스에 의존한다. 두 설계 모두 개방형의 복잡한 3D/4D 공간 추론에 대한 유연성이 제한적이다. 이에 우리는 코드를 액션 인터페이스로 채택한 학습 불필요(training-free) 공간 추론 프레임워크인 SpatialClaw를 제안한다. SpatialClaw는 입력 프레임과 인식 및 기하 프리미티브 도구 모음이 사전 로드된 상태 유지(stateful) Python 커널을 유지하며, VLM 기반 에이전트가 이전 모든 출력을 조건으로 단계별로 하나의 실행 가능한 셀을 작성하도록 함으로써, 에이전트가 인식 결과를 유연하게 조합·조작하고 중간 텍스트 및 시각적 관찰과 각 문제의 요구에 맞게 분석을 적응할 수 있게 한다. 정적 및 동적 3D/4D 공간 추론 태스크를 폭넓게 다루는 20개의 공간 추론 벤치마크에서 평가한 결과, SpatialClaw는 평균 59.9%의 정확도를 달성하여 최근의 공간 에이전트보다 +11.2포인트 높은 성능을 보였으며, 벤치마크나 모델별 적응 없이 두 모델 패밀리의 6가지 VLM 백본 전반에서 일관된 성능 향상을 달성하였다.
최근 비전-언어 모델(VLM)은 강력한 멀티모달 이해 능력을 보여주지만, 능동적 증거 획득과 다단계 시각적 상호작용이 필요한 공간 추론(spatial reasoning) 작업에서는 여전히 제한적이다. 이러한 한계는 비전 인코더(vision encoder)의 암묵적 시각 표현(implicit visual representation)만으로는 세밀한 공간 증거를 복원하기에 불충분하다는 것을 시사한다. 본 연구에서는 지도 추론(map reasoning), 시각적 탐색(visual probing), 비전 재구성(vision reconstruction)에 걸친 공간 추론 작업을 위한 도구 증강 비전 에이전트인 PERception-Interaction-reason Agent(PERIA)를 제안한다. PERIA는 텍스트, 기호, 공간 증거를 노출하는 비전 인지 도구(vision perception tools)와 시각적 컨텍스트를 조작하고 경로를 추적하며 공간 관계를 검증하는 비전 상호작용 도구(vision interaction tools)라는 두 가지 경량 도구군을 사용한다. 효과적인 다중 도구 행동을 위해 PERIA를 학습시키기 위해 감독된 도구 사용 궤적 합성(supervised tool-use trajectory synthesis), 복합 보상(composite rewards), Observation-Relaxed Group-in-Group Policy Optimization(OR-GIGPO)을 결합한 통합 레시피를 개발했다. 8개 데이터셋의 13개 벤치마크에 대한 실험 결과, PERIA-8B는 인분포(in-distribution) 벤치마크에서 Qwen3-8B 백본 대비 10.0%, 아웃오브분포(out-of-distribution) 벤치마크에서 4.4% 향상되었으며, 유사한 규모의 이전 최첨단(SOTA) 기준선보다 7.0%-14.8% 더 우수한 성능을 보였다. 또한 Qwen3-VL-235B-A22B-Thinking 및 GPT-5와 같은 훨씬 더 큰 모델과 비교할 수 있는 성능을 달성하여, 공간 추론 능력을 향상시키는 데 있어 PERIA의 효과를 입증했다.
본 논문은 에이전트 3D 공간 이해, 즉 툴 사용(tool use)을 통해 3D 추론을 수행하는 멀티모달 대규모 언어 모델(MLLM) 에이전트를 탐구합니다. 기존 방법들은 3D 시나리오에서 툴을 오남용하고 편향된 툴 선호도를 보이는 경우가 많아, 비에이전트 전략(non-agentic strategies) 대비 에이전트 패러다임의 이득이 미미한 수준에 머물고 있습니다. 우리는 3D 공간 추론 작업이 장면(scene) 간에 이질적이라는 점을 밝혔습니다. 반면, 이러한 에이전트들은 특정 장면과 작업에 따라 툴을 선택하기보다는 모든 장면에 균일한 툴 사용 전략을 적용하고 있습니다. 이를 해결하기 위해 우리는 자가 진화하는 장면 인식 스킬(scene-aware skills)을 학습하는 프레임워크인 Skill-3D를 제안합니다. 구체적으로, Skill-3D는 작업 장면을 식별하고 에이전트의 툴 사용 궤적(tool-use trajectory)을 장면 메모리(Scene Memory)에 기록합니다. 여기서 유사한 장면에서의 성공적인 궤적은 집계되어 재사용 가능한 장면 인식 스킬로 증류(distilled)되며, 실패한 궤적은 교훈으로서 스킬에 첨부됩니다. 학습 과정에서 유사한 장면이 다시 등장하면, 해당 스킬이 주입되어 에이전트를 가이드하고 새로운 궤적을 생성합니다. 이러한 궤적의 성공과 실패는 스킬을 더욱 정제(refine)하여, 메모리와 스킬 라이브러리가 공진화(co-evolve)하는 루프를 형성합니다. 실험 결과, Skill-3D는 3D 공간 추론에서 툴 활용도를 크게 향상시키는 것으로 나타났습니다(VSI-Bench에서 39%에서 78%로 상승). 이는 에이전트가 올바르고 충분한 툴을 사용하도록 유도합니다. 예를 들어, MMSI-Bench에서 Gemini-3-Flash의 성능을 67% 향상시켰습니다. 또한, 스킬 가이드 궤적에 대해 에이전트 사후 학습(agentic post-training)을 수행하여 VSI-Bench에서 Qwen3-VL-8B의 성능을 60% 향상시켰습니다.
현대의 비전-언어 모델(VLM)은 강력한 의미 인식을 달성하지만, left of, on, behind, between와 같은 기초적인 공간 관계에서는 여전히 취약합니다. 이러한 실패의 한 원인은 언어 추론이 시작되기 전에 발생합니다. 시각 경로는 특징 추출 과정에서 중요한 3D 구조적 단서를 압축하거나 버릴 수 있어, 언어 모델은 신뢰할 수 있는 공간적 판단에 이미 불충분한 이미지 표현을 전달받게 됩니다. 우리는 고정된 카메라 조건부 비디오 월드 모델로부터 VLM으로 기하학적 구조를 전이하는 VLM 측 지식 증류 프레임워크인 GeoWorld-VLM을 소개합니다. GeoWorld-VLM은 이미지 인코더와 멀티모달 프로젝터만 파인튜닝하여, 메인 백본을 동결한 채 프로젝터 이후 이미지 특징을 중간 월드 모델 표현과 정렬합니다. 이미지, 프롬프트, 그리고 샘플링된 카메라 궤적이 주어지면, 월드 모델 교사는 정적인 시각 입력을 합성 다중 뷰 공간 신호로 변환합니다. 학습은 공간적 답변 지도, 교사-학생 특징 정렬, 원본 VLM에 대한 보존 앵커를 결합합니다. 언어 모델이 동결된 상태를 유지하므로, GeoWorld-VLM은 원본 모델의 언어적 능력을 보존하면서 공간적 향상을 강화된 시각 경로에 기인시킵니다. 제안된 방법의 효과와 일반성을 평가하기 위해, 우리는 서로 다른 두 VLM 아키텍처에 GeoWorld-VLM을 적용하고 두 백본 모두에서 일관된 개선을 관찰했습니다. GeoWorld-VLM은 What'sUp 및 VSR 벤치마크 모두에서 성능을 약 4% 향상시켜, 월드 모델 안내 시각 정렬이 모델 구조 및 공간 추론 데이터셋 전반에 걸쳐 일반화됨을 시사합니다.
에고센트릭(egocentric) 비디오로부터의 공간 추론은 관측 가능한 증거가 카메라 궤적에 의해 제한되기 때문에 본질적으로 어렵다. 기존 방법은 단일 턴(single-turn) 추론에 의존하여, 모델이 검증 가능한 증거보다는 의미론적 사전 지식(semantic priors)을 통해 기하학적 모호성을 해결하도록 강요한다. 우리는 공간 추론이 재방문 가능(revisitable)해야 한다고 주장한다: 제한된 증거 하에서 형성된 결론은 상보적 시점(complementary viewpoints)이 이용 가능해질 때 수정 가능한 상태로 남아 있어야 한다. 이 통찰을 바탕으로, 우리는 Reason, then Re-reason(ReRe)을 제안한다. 이는 학습 없이(training-free) 추론 시점(inference-time)에 적용되는 두 단계 프레임워크이다. Reason Phase에서는 MLLM이 원본 비디오로부터 공간 가설을 형성하고, Re-reason Phase에서는 합성된 새로운 시점(novel-view) 비디오를 관측하여 해당 가설을 검증하거나 수정한다. 효과적인 교차 뷰(cross-view) 재방문을 가능하게 하기 위해, 우리는 예측된 3D 기하로부터 전략적으로 상보적인 새로운 시점을 렌더링하는 Geometry-to-Video 파이프라인을 설계한다. 이러한 시점은 장면 전체를 아우르는(scene-spanning) 높은 고도의 사선(oblique) 시점을 특징으로 하며, 아키텍처 수정 없이 MLLM의 기본 비디오 인터페이스를 유지한다. VSI-Bench와 STI-Bench에 대한 광범위한 평가(evaluation)는 ReRe가 오픈소스 MLLM을 상당히 향상시켜 독점 최신(state-of-the-art) 성능과 견줄 수 있음을 보여준다. 프로젝트 페이지: https://zhenjiemao.github.io/ReRe/
멀티모달 대규모 언어 모델(MLLMs)은 단일 이미지 공간 추론에서 상당한 진전을 이루었지만, 여러 관점에서의 정보 통합이 필요한 다중 이미지 공간 추론은 여전히 어려운 과제로 남아 있습니다. 인지 연구에 따르면, 인간은 두 가지 메커니즘을 통해 이러한 작업을 수행합니다. 하나는 서로 다른 뷰에서 동일한 물리적 위치에 해당하는 영역을 식별하는 뷰 간 대응(cross-view correspondence)이고, 다른 하나는 상대적인 관점 변화를 순차적으로 구성하는 단계적 관점 변환(stepwise viewpoint transformation)입니다. 그러나 기존 연구들은 이러한 메커니즘을 부분적으로, 그리고 종종 암묵적으로만 통합하고 있으며, 두 메커니즘 모두에 대한 명시적인 지도(supervision)가 부족합니다. 우리는 뷰 간 대응 및 관점 변화에 대한 인간 인식 학습(Human-Aware Training for Cross-view correspondence and viewpoint cHange, HATCH)을 제안합니다. HATCH는 두 가지 상호 보완적인 목표를 가진 학습 프레임워크입니다. (1) 공간적으로 대응하는 영역에 대해 패치 표현이 뷰 간에 정렬되도록 장려하는 패치 수준 공간 정렬(Patch-Level Spatial Alignment), (2) 최종 답변을 예측하기 전에 모델이 명시적인 관점 전환 행동을 생성하도록 요구하는 행동 후 답변(Action-then-Answer) 추론이 그것입니다. 세 가지 벤치마크에 대한 실험 결과, HATCH는 유사한 크기의 베이스라인보다 명확한 마진으로 일관되게 우수한 성능을 보이며, 단일 이미지 추론 능력을 보존하면서 훨씬 더 큰 모델과 비교해도 경쟁력 있는 결과를 달성함을 입증했습니다.
기하학 집약적 규정에 대한 규정 준수 검사 자동화는 고수준 규정 논리와 구조화된 IFC 데이터 간의 의미적 격차로 인해 건물 정보 모델링(BIM)에서 여전히 중요한 기술적 병목 현상으로 남아 있습니다. 정적 규칙 템플릿에 주로 의존하는 기존 방법들은 여러 건물 개체에 걸친 잠재적 공간 의존성을 해결하거나 멀티-홉 추론 체인을 탐색하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해 건물 정보 모델링을 위한 공간-기하학적 추론 시스템(SGR-BIM)을 통합적인 그래프 주도형 추론 프레임워크로 제안합니다. SGR-BIM은 사용자 의도, 규정 의미론, BIM 기하학을 정렬하는 크로스-모달 지식 그래프를 동적으로 구성하여, 경직된 하드코딩 없이 해석 가능한 추론을 가능하게 합니다. 화재 안전 규정에서 파생된 679개의 전문가 검증 쿼리를 통해 검증된 결과, 이 프레임워크는 84.3%의 정확도를 달성하여 향상된 도구를 활용한 단일 에이전트 기준 모델 대비 8.6% 향상된 성능을 보였습니다. 본 연구는 그래프 기반 의미론적 추론 패러다임을 제공하여 건축, 엔지니어링 및 건설(AEC) 산업 내 자동화된 기하학적 규정 준수 검사 워크플로우의 투명성과 유연성을 향상시킵니다.
임베디드 공간 지능(embodied spatial intelligence) 벤치마크 구축의 노동 집약적이고 유지보수가 어려운 문제를 해결하기 위해 Embodied-BenchClaw라는 자율적인 다중 에이전트 시스템을 제안한다. 이 시스템은 계획, 구축, 평가 에이전트가 협력하여 사용자 의도에 맞는 검증 가능하고 실행 가능한 벤치마크를 자동으로 생성하며, 다양한 영역에서 수작업을 크게 줄이면서도 고품질의 결과를 달성했다.