PyTorchKR Papers

최신 논문

총 502편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12319v1cs.CV

DM-KG: 거리뷰 영상에서 비전-언어 모델의 공간 인지 능력을 향상시키는 새로운 방법

DM-KG: A Novel Method for Boosting Spatial Cognition of Vision-Language Models in Street View Imagery

비전-언어 모델(VLM)이 지리공간 질의응답과 시각적 장면 이해에 점점 더 배치됨에 따라, 복잡한 논리적 추론을 위해 거리뷰 영상에서의 공간 인지 능력을 향상시키는 것이 핵심 연구 과제로 부상했다. 그러나 기존 VLM은 실제 거리뷰 장면에서 물체의 위치, 거리, 방향을 인지할 때 "공간 의미 환각(spatial semantic hallucinations)"을 자주 겪는다. 또한 이러한 오류는 추적 및 보정에도 종종 잘 대응되지 않아, 지리공간 작업에서의 실용적 배치에 심각한 병목이 된다. 이러한 긴급한 과제를 해결하기 위해, 본 연구는 거리뷰 영상을 위한 구조적으로 기반을 둔 공간 표현 프레임워크인 DM-KG(Direction-Metric Knowledge Graph)를 제안한다. 단일 2D 영상에서 개체 간의 방향적 및 거리(metric) 관계를 명시적으로 추출함으로써, 이 프레임워크는 구조화된 지식 그래프를 통해 VLM의 공간 추론 정확도를 향상시킨다. 구체적으로, panoptic segmentation과 metric depth estimation을 통합하여 개체 수준의 3D 공간 좌표를 견고하게 계산한다. 이후 개체 쌍의 시계 방위각(clock azimuths)과 유클리드 거리를 JSON 형식의 지식 그래프로 인코딩하고, 이를 VLM에 공간 추론을 안내하는 명시적 기하학적 사전(prior)으로 주입한다. 공개 공간 질의응답(QA) 벤치마크에서의 실험 결과, DM-KG는 거리 추정의 평균 절대 오차(MAE)를 31.1% 줄이고 방향 판단의 평균 각도 오차를 65.8% 줄였으며, 동시에 높은 QA 성공률을 유지함을 보여준다. 완전한 증강 추론 파이프라인을 구축함으로써, 본 연구는 거리뷰 시나리오에서 VLM의 공간 인지 능력을 크게 향상시키며, 개방 환경에서의 지리 시각 질의응답(GeoVQA)을 위한 유연하고 일반화 가능하며 해석 가능한 프레임워크를 제공한다.

arXiv:2607.11173v1cs.CV

깊이는 보여주기보다 말해줄 때 더 효과적: 비전-언어 공간 추론을 위한 깊이-순서 프롬프팅

When Depth Is Better Told Than Shown: Depth-Ordinal Prompting for Vision-Language Spatial Reasoning

비전-언어 모델(VLM)은 어떤 물체가 더 가까운지, 무엇이 무엇 뒤에 있는지, 물체들이 3D 공간에서 어떻게 배열되어 있는지 등 물리적 공간에 대해 추론할 수 있어야 하지만, 이러한 공간적 판단에서 여전히 어려움을 겪는다. 직관적인 해결책은 모델에게 깊이 맵(depth map)을 제공하는 것이지만, 이 방법이 오히려 성능을 저하시킬 수 있음을 확인하였다. 깊이 정보가 없는 것이 아니라 언어 모델에는 전달되지만 하위 추론에서 접근하기 어려워지며, 렌더링된 의사 깊이 맵(pseudo-depth map)은 동결된 VLM이 쉽게 조절할 수 없는 잡음이 많은 보조 이미지로 작용하기 때문임을 보인다. 우리는 깊이 이미지를 추가하거나, 모듈을 학습하거나, 특징을 주입하거나, 레이블을 사용하지 않고, 단안 깊이(monocular depth)를 질의 대상 객체에 대한 단일 질문 지향적 순서 텍스트 단서로 변환하는 학습 불필요(training-free) 방법인 깊이-순서 프롬프팅(DOP, Depth-Ordinal Prompting)을 제안한다. 핵심 발견은 형태 의존성(form dependence)으로, 동일한 깊이 신호가 이미지로 보여줄 때는 성능을 저하시키지만 텍스트로 말해줄 때는 도움이 될 수 있다는 것이다. 벤치마크, 모델, 깊이 추정기 전반에 걸쳐 DOP는 의사 깊이가 신뢰할 수 있는 객체 수준의 순서 정보를 제공할 때 공간 추론을 향상시키며, 원본 이미지만으로도 강한 성능을 보이는 환경에서는 대체로 중립적이다. 또한 가장 강력한 학습 불필요 깊이 프롬프팅 대안과 경쟁력 있는 성능을 보이면서도 더 단순하고 목표 지향적이다.

arXiv:2511.20644v2cs.CV

공간 추론을 위한 비전-언어 메모리

Vision-Language Memory for Spatial Reasoning

공간 추론은 지능형 로봇에게 핵심적인 능력이지만, 현재의 비전-언어 모델(VLM)은 비디오 기반 공간 추론에서 인간 수준의 성능에 아직 미치지 못한다. 이 격차는 주로 두 가지 과제에서 비롯된다: 일관된 3D 이해를 방해하는 의미론적-기하학적 불일치, 그리고 프레임 간 3D 표현 및 이해를 유지하는 지속적 메모리의 부재이다. 이러한 한계를 해결하기 위해, 우리는 VLM$^2$를 제시한다. 이는 순수한 2D 비디오로부터 시점 일관적이고 3D를 인식하는 표현을 활용하여 공간 추론을 수행하는 지속적 메모리를 갖춘 비전-언어 모델이다. 구체적으로, 즉각적인 컨텍스트에 집중하기 위해 슬라이딩 윈도우 방식으로 작동하는 작업 기억(working memory)과 프레임 전반에 걸쳐 중요한 정보를 통합하고 저장하는 에피소딕 메모리(episodic memory)로 구성된 이중 메모리 모듈을 도입한다. 이 설계는 고정된 계산 비용 하에서 제한적이고 효율적인 공간 추론을 가능하게 한다. 다수의 벤치마크에서 수행한 광범위한 실험을 통해 VLM$^2$가 비디오 기반 모델 중 최첨단 성능을 달성하며, 시각적 공간 지능의 경계를 크게 발전시킴을 보인다.

arXiv:2607.05493v1cs.CV

Ground3D-LMM: LMM을 활용한 세밀한 3D 포인트 그라운딩 및 공간 추론

Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM

포인트 클라우드와 자연어 질의를 받아 명시적 3D 세그멘테이션 마스크와 실세계 단위의 계측값을 동시에 출력하는 통합 대규모 멀티모달 모델(LMM) Ground3D-LMM을 제안하며, 객체·파트 수준의 그라운딩과 계측 추론을 단일 대화형 인터페이스에서 지원한다. ScanNet 및 ScanNet++ 기반으로 약 250만 개의 질의응답 쌍을 포함하는 대규모 데이터셋과 3D Grounded Measurement 태스크를 새롭게 정의하고, 다양한 벤치마크 실험에서 강력한 기준선 성능을 보였다.

arXiv:2607.03614v1cs.CV

IDEAL-Bench: 3D 레이아웃 추론 분석을 위한 실내 데이터셋 및 평가 모음

IDEAL-Bench: Indoor Dataset and Evaluation suite for Analyzing 3D Layout reasoning

공간 질의응답(spatial question answering)은 비전-언어 모델(VLM)의 공간 지능을 평가하는 지배적인 패러다임이지만, 공간 역량의 상보적 축인 전체론적 3D 레이아웃 추론(holistic 3D layout inference)—단일 이미지에서 모든 가시 객체의 포즈와 크기를 구조화된 형태로 예측하는 능력—은 충분히 평가되지 않고 있다. 이를 위해 우리는 IDEAL-Bench를 소개한다. 이는 VLM이 10가지 방 유형에 걸친 사실적 실내 장면에서 구조화된 3D 레이아웃을 예측하도록 요구하는 평가 모음으로, 5가지 수치 차원과 지각적 렌더링-비교(render-and-compare) 프로토콜로 채점된다. 제어된 조명과 시점 하에 완전한 에셋 치환(full asset substitution)을 적용한 의미론적으로 현실적인 장면을 활용함으로써, IDEAL-Bench는 CLEVR 방식의 단순한 기하학적 프리미티브를 넘어서, 이미지 공간에서의 불일치가 오직 공간 추론만을 반영하도록 한다. 이 벤치마크는 정답 레이아웃이 포함된 1,000개의 절차적으로 생성된 재렌더링 가능한 Blender 환경 데이터셋인 IDEAL-Scenes를 기반으로 구축된다. 15개의 주요 VLM을 평가한 결과 세 가지 발견이 도출되었다: 첫째, 이 태스크는 여전히 대부분 미해결 상태이며, 가장 강력한 모델도 전체 점수 100점 만점에 62.1점에 그쳤다. 둘째, 모든 모델은 객체 인식과 기하학적 회귀(geometric regression) 사이에서 뚜렷한 비대칭성을 보였으며, 이는 현재 VLM이 장면을 측정하기보다는 묘사하도록 학습되었음을 나타낸다. 셋째, 모델 순위가 QA 기반 및 프리미티브 재구성 벤치마크의 순위와 부분적으로 달랐다: 최상위 합의는 유지되었으나 중위권 순위는 상당히 변동되었다. 종합하면, 이러한 발견들은 IDEAL-Bench를 QA 기반 평가가 드러낼 수 없는 기하학적·구조적 역량을 겨냥한 진단 모음으로 자리매김하며, 차세대 VLM에서 공간 지능을 보다 엄밀하게 평가하는 방향을 제시한다. 이러한 발견들은 종합적으로 IDEAL-Bench를 미래의 VLM이 공간적 이해를 언어적 근사가 아닌 진정한 형태로 달성하는지를 판단하기 위한 원칙적 진단 도구로 위치시킨다.

arXiv:2607.02921v1cs.CV

R3D: 자아중심 웨어러블을 위한 정량적 3D 공간 추론

R3D: Quantitative 3D Spatial Reasoning for Egocentric Wearables

자아중심(egocentric) RGB-D 비디오에서의 정량적 3D 공간 추론은 차세대 웨어러블 어시스턴트의 핵심 역량이다. 그러나 기존 벤치마크는 (1) 자연스러운 자아중심 비디오, (2) 포즈 정보가 포함된 RGB-D 비디오 입력, (3) 도전적인 정량적 3D 공간 추론 Q&A를 다루는 어려움을 반영하지 못한다. 이 공백을 메우기 위해, 우리는 R3D-Bench(Reasoning in 3D)를 소개한다. 이는 Aria Digital Twin의 57개 자아중심 비디오 시퀀스를 기반으로 구축된 벤치마크로, 다중 선택, 거리 기반, 부피 추론 질문을 포함한 15가지 유형에 걸쳐 3,033개의 정량적 공간 추론 질문으로 구성된다. 이 데이터셋에서 강력한 기준선을 제시하기 위해, 우리는 모델에 무관한(model-agnostic) 공간 도구 호출 프레임워크인 R3D를 소개한다. 3D 정보를 모델의 입력 표현에 직접 임베딩하는 기존 접근 방식과 달리, R3D는 분할(segmentation) 및 깊이 기반 객체 표현을 사용하여 비디오로부터 3D 장면을 구성한다. 그리고 8개의 조합 가능한 공간 도구를 통해 이 정보를 대규모 언어 모델(LLM)에 제공한다. R3D-Bench에서 Qwen3-VL 235B를 활용한 R3D는 평균 상대 정확도 73.5%를 달성하여, 최고 깊이 활용 기준선(CuTR+Tools, 61.9%)과 최고 RGB 전용 기준선(Gemini 3 Flash, 46.5%)을 크게 상회한다.

arXiv:2607.03530v1cs.AI

MentalThink: 심상 SVG 세계에서 사고 형성하기

MentalThink: Shaping Thoughts in Mental SVG World

우리는 멀티모달 대규모 언어 모델(MLLM)에 "심상" 시각화를 위한 실행 가능한 메커니즘을 부여하는 시각-기호적 추론 패러다임인 MentalThink를 소개한다. MentalThink의 핵심은 SVG와 함께 생각하는(think-with-SVG) 파이프라인으로, 모델이 다중 턴 추론을 위한 중간 시각적 표현으로서 확장 가능한 벡터 그래픽(SVG) 코드를 생성, 렌더링하고 해석하는 방법을 학습한다. 구조화된 벡터 스케치를 생성함으로써 모델은 공간적 가설을 외재화하고, 결정론적 렌더링을 통해 이를 검사하며, 제한된 기하학적 공간 내에서 추론할 수 있어 인간의 심상(mental imagery) 과정을 효과적으로 모방한다. 우리는 SVG 구문 정렬을 위한 지도 미세조정(SFT)과 중간 시각적 가설의 반복적인 검사, 수정 및 개선을 장려하기 위한 다중 턴 강화학습(RL)을 결합한 2단계 학습 프레임워크를 통해 이 패러다임을 구체화한다. 광범위한 평가를 통해 MentalThink가 공간 이해 및 추론 벤치마크에서 우수한 성능을 달성함(예: VSIBench에서 55.1%, MindCube에서 76.0%)을 입증하며, 실행 가능한 벡터 그래픽이 동적 관점 취득, 시각적 반성, 구성적 장면 구성을 위한 검증 가능한 시각적 작업 공간을 제공함을 보여준다.

arXiv:2607.01784v1cs.CV

SpaceEra++: 비디오에서의 3D 공간 추론을 위한 통합 프레임워크

SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video

비전-언어 모델(VLM)의 3D 공간 추론 한계를 극복하기 위해, NeurIPS 2025 Spotlight 논문인 SpaceEra를 확장한 SpaceEra++를 제안하며, 공간적 커버리지와 객체 의미론을 균형있게 고려하는 프레임 샘플링 전략 ScenePick과 절대 좌표 및 상대적 공간 관계를 강화학습 보상으로 통합하는 SpaceAlign을 새롭게 도입하였다. 다수의 벤치마크 실험에서 강력한 기준선 대비 일관된 성능 향상이 확인되었다.

arXiv:2607.00881v1cs.CV

OmniView-Space: 다중 시점 공간 매핑을 통한 공간 추론 강화

OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping

다중모달 대규모 언어 모델(MLLM)이 복잡한 공간 추론 시 쿼리가 요구하는 카메라·객체·방향 중심의 참조 프레임에 증거를 동적으로 재앵커링하지 못하는 문제를 해결하기 위해, OmniView-Space는 다중 시점 공간 매핑(MPSM)으로 쿼리 정렬 시각적 BEV 인지 맵과 텍스트 공간 그래프를 생성하고, 강화학습 기반 도구 사용 정책과 인지 맵 증류를 결합한 에고센트릭 공간 추론 프레임워크를 제안한다. 단일 및 다중 이미지 공간 추론 벤치마크에서 최고 성능을 달성했으며, 지식 증류된 모델은 외부 기하 파이프라인 의존도를 낮추면서도 동등한 성능을 유지한다.

arXiv:2607.00491v1cs.CV

MindEdit-Bench: 실세계 사진에서 비전-언어 모델의 객체 수준 반사실적 공간 추론 벤치마킹

MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos

MindEdit-Bench는 비전-언어 모델(VLM)이 객체를 가상으로 이동하거나 회전시켰을 때의 공간적 결과를 예측할 수 있는지 평가하는 반사실적(counterfactual) 공간 추론 벤치마크로, 스마트폰으로 촬영한 실내 장면 3장 트리플렛에서 자동으로 3D 장면 그래프를 추출해 6가지 과제를 구성한다. 15개 VLM을 평가한 결과 과제별 평균 정확도가 8%~31%에 불과해 인간 정확도(81%~97%)와 최소 39pp 이상의 격차를 보였으며, 특히 카메라 깊이 축 추론과 교차 시점 가시성 편집에서 취약함이 드러났다.

arXiv:2512.23365v4cs.CV

SpatialMosaic: A Multiview VLM Dataset for Partial Visibility

부분 가시성(partial visibility), 가림(occlusion), 낮은 시야 중첩(low-overlap) 등 실환경에서 빈번히 발생하는 멀티뷰 공간 추론의 난제를 다루기 위해, 확장 가능한 데이터 생성 파이프라인으로 2M QA 쌍의 인스트럭션 튜닝 데이터셋 SpatialMosaic과 11개 태스크·1M QA 쌍 규모의 벤치마크 SpatialMosaic-Bench를 구축하였다. 실내외 장면을 모두 포괄하며, 지오메트리 인코더를 비전-언어 모델(VLM)에 통합한 베이스라인을 통해 교차 뷰 일관성과 공간 그라운딩을 개선함을 광범위한 실험으로 검증하였다.

arXiv:2511.18011v2cs.CV

RoadBench: Benchmarking MLLMs on Fine-Grained Spatial Understanding and Reasoning under Urban Road Scenarios

도시 도로 환경에서 멀티모달 대규모 언어 모델(MLLM)의 세밀한 공간 이해 및 추론 능력을 평가하기 위해, 5개 중국 도시에서 수집한 BEV·FPV 이미지 기반의 8개 태스크 3,040개 테스트 케이스로 구성된 RoadBench 벤치마크를 제안한다. 20개의 주류 MLLM을 평가한 결과, 일부 태스크에서 단순 규칙 기반 또는 랜덤 선택 베이스라인에도 미치지 못하는 성능을 보여 현재 MLLM의 도시 환경 내 세밀한 공간 추론 능력에 심각한 한계가 있음을 확인하였다.

arXiv:2606.31285v1cs.AI

Spatial Reasoning via Modality Switching Between Language and Symbolic Representation

텍스트 기반 공간 추론에서 LLM이 다중 관계를 암묵적으로 추적할 때 발생하는 오류를 해소하기 위해, 공간 서사를 2D 그리드 등 구조적 표현으로 변환하는 그리드 그라운딩 프레임워크와 신뢰성·복잡도 신호에 기반한 모달리티 전환 메트릭을 제안한다. StepGame 벤치마크에서 최대 42%의 성능 향상을 달성하며, 자연어 추론과 구조적 표현 간의 원칙적 모달리티 선택이 LLM의 공간 추론 성능에 중요한 영향을 미침을 보였다.

arXiv:2606.28049v1cs.CV

AirGroundBench: 이종 다중 시점 체현 협업 하에서 멀티모달 대규모 모델의 공간 지능 탐구

AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration

최근 멀티모달 대규모 언어 모델(MLLM)은 체현 지능(embodied intelligence)에서 큰 잠재력을 보여 왔으나, 이종 시점에 걸쳐 기하학적으로 일관된 공간 이해를 유지하는 능력은 아직 충분히 평가되지 않았다. 기존 벤치마크는 대체로 단일 에이전트·단일 시점 인식에 초점을 맞춰, 다중 스케일 관측이 상호 보완적이면서도 스케일 불일치, 비대칭 가림, 기준 좌표계 불일치를 야기하는 협업적 공중-지상 환경의 체계적 평가에는 공백이 있다. 본 논문은 이종 UAV-UGV 협업에서 다중 시점 공간 지능을 평가하기 위한 진단 벤치마크인 AirGroundBench를 제안한다. AirGroundBench는 11개의 고충실도 시뮬레이션 환경과 1,021개의 동기화된 공중-지상 관측 쌍으로 구성되며, 약 62,000개의 이중 시점 4지선다 시각 질의응답(VQA) 인스턴스와 115개의 폐루프 비전-언어 내비게이션 에피소드를 제공한다. 10가지 작업 유형을 네 가지 점진적으로 요구 수준이 높아지는 역량 차원—공간 인식, 교차 시점 정렬, 공간 변환 및 추론, 체현 의사결정—으로 구성한다. 기하학 기반 평가와 분석을 위해 교차 시점 객체 동일성 및 측정 가능한 2D·3D 바운딩 박스를 포함한 구조화된 공간 주석을 제공한다. UAV 단독, UGV 단독, 이중 시점 입력 설정에서 13개 대표 MLLM을 평가한 결과 일관된 병목이 드러났다. 모델은 공간 인식에서는 상대적으로 양호하나 교차 시점 정렬과 변환 집약적 추론에서 어려움을 보이며, 이러한 결함은 비전-언어 내비게이션의 순차적 의사결정으로 전파된다. 이중 시점 입력이 단일 시점 변형 대비 측정 가능한 이득을 제공하나, 인간 성능과의 지속적인 격차가 남아 있으며, 이는 현재 체현 MLLM의 핵심 한계가 기하학적 일관성임을 부각한다.

arXiv:2606.27876v1cs.CV

SpatialUAV: 저고도 UAV(무인항공기) 지각, 협업 및 동작을 위한 공간 지능 벤치마킹

SpatialUAV: Benchmarking Spatial Intelligence for Low-Altitude UAV Perception, Collaboration, and Motion

공간 지능은 저고도 무인항공기(UAV)의 지각, 협업 및 항법에 필수적이다. 그러나 기존 UAV 벤치마크는 종종 이미지 수준 인식, 단일 뷰 이해, 혹은 제한적인 답변 형식에 초점을 맞추어, 3D 공간 추론, 다중 뷰 협업, 장면 동역학, 그리고 다양한 과제 공식화에 대한 평가가 불충분하게 남아 있다. 이러한 공백을 해소하기 위해, 우리는 의미 구별, 공간 관계, 공중-공중 협업, 공중-지상 협업, 그리고 동작 이해를 포괄하는 14개의 세분화된 과제 유형에 걸친 4,331개의 큐레이션된 인스턴스로 구성된 실제 저고도 UAV 벤치마크인 SpatialUAV를 제안한다. SpatialUAV는 모든 샘플을 통합된 visual-input-question-answer 스키마로 구성하며, 선택지 레이블, 영역 식별자, 기하학적 값, 교차 뷰 대응, 그리고 자유 형식 동작 설명 등을 포함하는 7가지 입력 설정과 9가지 답변 형식을 지원한다. 신뢰할 수 있고 그라운딩된 평가를 보장하기 위해, 우리의 데이터 구축 파이프라인은 검출기 보조 영역, 깊이 감독, 메타데이터 기반 규칙, 광범위한 수동 주석, 블라인드 필터링, 다회차 인간 검증을 통합하며, 이질적 출력에 대한 과제별 지표와 함께 제공된다. 세 가지 범주에 걸친 대표적인 비전-언어 모델을 평가한 결과, 현재 모델은 교차 뷰 연관, 구조화된 그라운딩, 기하학적 추론, 시간적 시점 이해에서 뚜렷한 병목을 보이며 인간 수준 성능과는 여전히 큰 거리가 있음을 보인다. 이러한 결과는 저고도 UAV 공간 지능 발전을 위한 실증적 가이드를 제공한다. 코드와 데이터는 https://github.com/Hyu-Zhang/SpatialUAV 에서 이용 가능하다.

arXiv:2606.27412v1cs.CV

모든 관계가 동일하게 회전하지 않는다: 시점 강건 3D 씬 그래프 생성을 위한 변환 인식 분리

Not All Relations Rotate Alike: Transformation-Aware Decoupling for Viewpoint-Robust 3D Scene Graph Generation

3D 씬 그래프 생성(3DSGG)은 3D 장면을 구조화된 객체-관계-객체 그래프로 표현하여 공간 이해를 위한 간결한 관계적 추상화를 제공한다. 체화 지능(embodied intelligence) 환경에서 동일한 3D 장면은 에이전트(agent)에 의해 요(yaw) 회전만큼 다른 시점(viewpoint)에서 관측될 수 있다. 그러나 현재 3DSGG 모델은 이러한 시점 변화 하에서 기대되는 변환(transformation) 동작을 따르는 관계 예측을 생성하는 데 자주 실패한다. 이는 술어(predicate) 수준의 변환 이질성과 관련된 실증적 불일치를 드러낸다. left, front, right, behind와 같은 방향성 술어는 관측 좌표계(observation frame)에 따라 변환되어야 하는 반면, standing on 및 attached to와 같은 대부분의 접촉·지지·의미적 술어는 안정적으로 유지되어야 한다. 이 불일치를 줄이기 위해, 우리는 변환 인식 분리(Transformation-Aware Decoupling, TAD)를 제안한다. TAD는 술어 변환 동작에 따라 관계 추론을 분리하고 시점 안정적 객체 표현(viewpoint-stable object representations)으로 뒷받침되는 시점 강건 3DSGG 프레임워크이다. TAD는 관계 추론을 두 부분으로 분해한다. 하나는 시점에 걸쳐 안정적으로 유지되어야 하는 단서(cue)를 학습하고, 다른 하나는 관측 좌표계에 따라 변해야 하는 방향성 단서를 학습한다. 두 부분은 표준 다중 레이블 술어 예측을 위해 병합된다. 변환 특화 서술자(descriptor)와 그룹 인식(group-aware) 보조 감독(auxiliary supervision)은 두 분기가 상보적인 관계 단서를 포착하도록 유도한다. 3DSSG에서의 광범위한 실험은 TAD가 학습 시점 회전 증강(rotation augmentation) 없이 요 시점 변화 하에서 최첨단(state-of-the-art) 강건성을 달성하면서 표준 벤치마크(benchmark)에서도 경쟁력 있는 성능을 유지함을 보여준다. 프로젝트 페이지는 https://tad-predicate.github.io/ 에서 확인할 수 있다.

arXiv:2605.22536v2cs.CV

SpaceDG: 시각적 저하 환경에서 공간 지능 벤치마킹

SpaceDG: Benchmarking Spatial Intelligence under Visual Degradation

다중 모달 대규모 언어 모델(MLLM)은 공간 지능에서 빠른 발전을 이루었으나, 기존 공간 추론 벤치마크는 대체로 선명한 시각 입력을 가정하고 모션 블러, 저조도, 악천후, 렌즈 왜곡, 압축 아티팩트 등 실제 배포 환경에서 흔히 발생하는 저하를 간과한다. 이는 근본적인 질문을 제기한다: 시각 관측이 불완전할 때 현재 MLLM의 공간 지능은 얼마나 견고한가? 이 질문에 답하기 위해, 우리는 저하 인식 공간 이해를 위한 최초의 대규모 데이터셋인 SpaceDG를 제안한다. 이는 저하 형성 과정을 3D 가우시안 스플래팅(3DGS) 렌더링에 내장하는 물리적으로 근거 있는 저하 합성 엔진으로 구축되어, 9가지 저하 유형의 사실적인 시뮬레이션을 가능하게 한다. 결과 데이터셋은 약 1,000개의 실내 장면에서 약 100만 개의 QA 쌍을 포함한다. 또한 11개의 추론 카테고리와 9가지 시각적 저하 유형을 아우르는 1,102개의 질문으로 구성된 사람 검증 벤치마크 SpaceDG-Bench를 도입하여 1만 개 이상의 VQA 인스턴스를 제공한다. 25개의 오픈소스 및 폐쇄형 MLLM을 평가한 결과, 시각적 저하는 일관되고 상당히 공간 추론을 저하시키며 심각한 견고성 격차를 드러낸다. 마지막으로, SpaceDG에서의 파인튜닝이 저하 견고성을 현저히 향상시키고, 깨끗한 이미지에서 성능 저하 없이 열화된 조건에서 인간 성능을 초과할 수 있음을 보여, 견고한 공간 지능을 위한 저하 인식 학습의 가능성을 강조한다.

arXiv:2606.26535v1cs.CV

환각에서 그라운딩으로: CRISP를 통한 시각 공간 지능 진단

From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP

CRISP는 비전-언어 모델(VLM)의 공간 추론 평가에서 언어 사전(prior)과 실제 공간 인식을 혼동하는 문제를 해결하기 위해, metric 3D Scene Graph 구성 과제와 공간 QA를 결합한 구조적 진단 벤치마크를 제안한다. 실험 결과, 독점 모델은 잠재적 추론 능력은 갖추고 있으나 암시적 3D 구조 표현을 실제 지각에 연결하지 못하는 반면, 오픈소스 모델은 다중 홉(multi-hop) 구성적 추론 자체가 근본적인 병목임을 밝혔다.

arXiv:2606.25719v1cs.AI

Position Spaces and Graphs

In this paper, we introduce position graphs, a graph-based reasoning framework based on the formalization of position spaces. This framework utilizes two strict partial orders, representing horizontal and vertical alignment and precedence, to model the relative positions of discrete tokens. Unlike general qualitative spatial calculi, position graphs are constrained by a chain condition and compatibility requirements that focus on rows and columns. We provide a comprehensive theoretical analysis of this representation, beginning with a characterization of graph consistency. Conditions to ensure the consistency of position graphs are established. Furthermore, we investigate the computational complexity of structural pattern discovery, modeled as the induced subgraph isomorphism problem. We demonstrate that this problem remains NP-complete even within the restricted class of position graphs. While initially motivated by document processing, this work focuses on the underlying mathematical properties and algebraic consistency of position-based constraints, providing a formal logical layer that is independent of specific data extraction techniques.

arXiv:2606.24849v1cs.CV

IV-CoT: Implicit Visual Chain-of-Thought for Structure-Aware Text-to-Image Generation

Unified multi-modal large language models (MLLMs) have achieved strong text-to-image generation quality, but still struggle with structure-aware prompt following, where object counts, spatial relations, attribute bindings, and coarse layouts must be preserved. We attribute this limitation in part to the entanglement of structural planning and appearance rendering within a single conditioning stream. To address this issue, we propose Implicit Visual Chain-of-Thought (IV-CoT), a latent visual reasoning framework for query-conditioned image generation. IV-CoT decomposes the visual conditioning queries into a structural-to-semantic cascade, where structural queries first form a latent visual plan and semantic queries then render appearance conditioned on this plan. To guide the structural queries, we introduce training-only sketch supervision, which encourages them to capture structure from sketches without requiring sketch extraction or intermediate decoding at inference time. IV-CoT performs implicit CoT reasoning in a single forward pass and achieves superior results on GenEval and T2I-CompBench. Visualizations and analyses demonstrate that the learned structural and semantic queries play complementary roles in structure-aware generation.