arXiv:2610.02091v1 cs.CV

GeoLatent: 3D 추론을 위한 라우팅된 최적화 기반 기하학 유도 잠재 구조화

GeoLatent: Geometry-Guided Latent Structuring with Routed Optimization for 3D Reasoning

Yakun Zhu, Yi Bin, Yujuan Ding, Zheng Wang, Pengpeng Zeng, Duo Peng, Jingkuan Song, Heng Tao Shen

제출 2026-10-01

저자 비고

arXiv Comments

23 pages, 6 figures

한국어 초록

비전-언어 모델(vision-language model)의 발전에도 불구하고, 2D 이미지로부터 3D 공간 추론을 수행하는 것은 여전히 어려운 과제로 남아 있습니다. 텍스트 기반 방법들은 중간 기하학적 정보를 이산 토큰(token)으로 기술하므로 연속적인 공간 관계에 대한 충실도가 제한됩니다. 연속 잠재 변수(continuous latent)는 더 풍부한 표현을 제공하지만, 단일 유형의 잠재 변수만으로는 다양한 공간 태스크에 필요한 단서들을 명시적으로 분리하지 못합니다. 분해된 공간 잠재 변수는 기하학적 지도 하에 위치, 방향, 전역 기하학을 별도로 표현함으로써 이 문제를 다룹니다. 그러나 기하학적 표현이 여전히 하나의 지배적인 방향으로 붕괴(collapse)될 수 있으며, 제약 없는 어텐션(attention)으로 인해 답변 학습 과정에서 잠재 변수가 충분히 활용되지 못할 수 있습니다. 본 논문에서는 기하학 상태를 구조화하는 동시에 잠재 변수 매개 답변 학습을 촉진하기 위해 공통-잔차 기하학 정렬(CR-GEO)과 라우팅된 최적화(routed optimization)를 결합한 GeoLatent를 제안합니다. CR-GEO는 공유되는 교사 기하학과 잔차 교사 기하학을 분리합니다. 라우팅된 최적화는 기하학과 언어를 공동으로 학습시키고, 시각적 답변 학습 경로를 잠재 변수를 거치도록 일시적으로 유도하며, 기하학 지도와 함께 완전한 어텐션을 복원합니다. 통제된 비교 실험에서 CR-GEO는 기하학 유효 순위(effective rank)를 1.00에서 3.87로 향상시켰으며, 병목 구간에서 잠재 변수 판독을 차단했을 때 128개의 고정된 질문에서 방향 정확도가 89.1%에서 25.8%로 떨어졌습니다. 복원 후에도 차별화된 기하학적 표현과 잠재 변수 매개 시각적 경로는 직접적인 이미지 접근과 함께 유지됩니다. GeoLatent는 SPAR-Bench에서 73.0%, SPBench에서 72.1%를 달성하여 두 벤치마크 모두에서 기존에 보고된 방법들을 능가합니다.

원문 초록

Despite progress in vision-language models, 3D spatial reasoning from 2D images remains challenging. Text-based methods describe intermediate geometry with discrete tokens, limiting fidelity for continuous spatial relations. Continuous latents offer richer representations, but a single latent type does not explicitly separate the cues needed across spatial tasks. Decomposed spatial latents address this by representing position, direction, and global geometry separately under geometric supervision. Yet the geometry representation can still collapse toward one dominant direction, and unrestricted attention can leave the latents underused during answer learning. We introduce GeoLatent, combining Common--Residual Geometry Alignment (CR-GEO) with routed optimization to structure the geometry states while promoting latent-mediated answer learning. CR-GEO separates shared from residual teacher geometry; routed optimization jointly trains geometry and language, temporarily directs visual answer learning through the latents, and restores full attention with geometry supervision. In controlled comparisons, CR-GEO raises geometry effective rank from 1.00 to 3.87, while blocking latent readout at the bottleneck lowers direction accuracy from 89.1% to 25.8% on 128 fixed questions. After recovery, the differentiated geometry representation and latent-mediated visual route remain available alongside direct image access. GeoLatent achieves 73.0% on SPAR-Bench and 72.1% on SPBench, outperforming previously reported methods on both.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02091v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.38840v3cs.LG공통 태그 Representation Learning, Disentanglement

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2610.13527v1cs.CV공통 태그 Representation Learning, Spatial Reasoning

S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구

S-Space: Exploring Spatial Workspace in Multimodal Language Models

멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.

arXiv:2610.13819v1cs.LG공통 태그 Representation Learning, Disentanglement

전문가 뷰를 넘어서는 공유 정준 성분 제거

Shared Canonical Component Removal Beyond Expert Views

임상 현장에서 전문가들은 종종 결정을 내리기 전에 원시 입력(raw input)을 일련의 전문가 특징(expert feature)으로 변환하는 작업부터 시작합니다. 원시 입력을 기반으로 학습된 블랙박스 모델이 전문가 뷰(expert view)로 학습된 모델보다 우수한 성능을 보일 수 있지만, 원시 모델이 전문가 뷰가 포착하는 것 이상으로 어떤 예측 신호를 활용하는지는 여전히 불분명합니다. 본 논문에서는 공유 정준 성분 제거(Shared Canonical Component Removal, SCCR)를 사용하여 이러한 격차를 정량화하는 감사 프레임워크를 제안합니다. 표준 잔차화(residualization)나 개념 소거(concept erasure)와 달리, SCCR은 학습된 원시 임베딩과 전문가 임베딩 사이에서 강하게 공유되는 방향만을 선택적으로 제거합니다. 합성 데이터, 관상동맥 질환(CAD) 감지, 항우울제 치료 중단(dropout) 예측, 그리고 SkinCon 주석을 활용한 피부 병변 분류에 대한 평가를 통해, SCCR이 전문가 뷰가 불충분한 방식을 식별하고 전문가 뷰와의 중복성을 최소화하면서 잔여 예측 신호를 복원함을 보여줍니다.

arXiv:2610.13832v1cs.CV공통 태그 Spatial Reasoning, vision-language model

SpatialASM: 공간 추론을 위한 능동적 심적 표상화의 내재화

SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

복잡한 공간 추론 과제를 해결할 때 일반적인 인간은 자연스럽게 과제와 관련된 시점에서 장면을 다시 살펴보고, 해당 시점들로부터 공간 배치를 머릿속으로 재구성(mental reconstruction)합니다. 하지만 대규모 비전-언어 모델(LVLM)도 능동적으로 같은 방식으로 사고할 수 있을까요? 저자들은 이러한 능력을 능동적 공간 심적 표상화(Active Spatial Mentalization, ASM)라고 정의하며, 이는 현재의 LVLM에서 크게 미발달 상태로 남아 있는 시각 지능의 본질적인 구성 요소입니다. 이러한 격차를 해소하기 위해 저자들은 학습(training) 시점의 공간 시뮬레이션을 통해 ASM을 LVLM에 내재화하는 확장 가능한 프레임워크인 SpatialASM을 소개합니다. SpatialASM은 외재적(allocentric) 신규 시점 생성기를 활용하여 가상 시점을 시각적 증거에 그라운딩(grounding)하며, 상호보완적인 두 가지 형태의 지도(supervision)를 생성합니다: i) 공간 추론 중 언제 어떻게 적응적으로 시점 계획과 상상을 불러일으킬지 LVLM에 가르치는 명시적 ASM 궤적, ii) 시점 조건부 장면 상상을 더욱 강화하는 자동 구축된 관점 수용(perspective-taking) 과제. 상대적으로 지각 중심적인 공간 이해부터 다중 이미지, 시점 교차 및 시점 변환 추론이 필요한 더 까다로운 과제에 이르는 7개 벤치마크(benchmark)에서, SpatialASM은 기존의 일반적인 비각 능력을 유지하면서도 4개의 LVLM 백본 모델의 공간 추론 성능 향상을 이끌어냈습니다. 실험 결과는 저자들의 접근법이 7개 공간 벤치마크 전반에서 평균 정확도를 향상시킴을 입증합니다. 또한 ASM 궤적의 합성은 능동적 시점 탐험(exploration)과 심적 장면 시뮬레이션을 유도하기 위한 공간 사고의 연쇄(Chain-of-Thought, CoT) 지도 데이터의 부족을 완화하는 확장 가능한 경로를 제공합니다.

arXiv:2610.13910v1cs.CL공통 태그 Representation Learning, Spatial Reasoning

VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다

When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors

비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.

arXiv:2610.10722v1cs.CV공통 태그 Representation Learning, Disentanglement

LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용

LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation

본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.