PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02091v1cs.CV

GeoLatent: 3D 추론을 위한 라우팅된 최적화 기반 기하학 유도 잠재 구조화

GeoLatent: Geometry-Guided Latent Structuring with Routed Optimization for 3D Reasoning

비전-언어 모델(vision-language model)의 발전에도 불구하고, 2D 이미지로부터 3D 공간 추론을 수행하는 것은 여전히 어려운 과제로 남아 있습니다. 텍스트 기반 방법들은 중간 기하학적 정보를 이산 토큰(token)으로 기술하므로 연속적인 공간 관계에 대한 충실도가 제한됩니다. 연속 잠재 변수(continuous latent)는 더 풍부한 표현을 제공하지만, 단일 유형의 잠재 변수만으로는 다양한 공간 태스크에 필요한 단서들을 명시적으로 분리하지 못합니다. 분해된 공간 잠재 변수는 기하학적 지도 하에 위치, 방향, 전역 기하학을 별도로 표현함으로써 이 문제를 다룹니다. 그러나 기하학적 표현이 여전히 하나의 지배적인 방향으로 붕괴(collapse)될 수 있으며, 제약 없는 어텐션(attention)으로 인해 답변 학습 과정에서 잠재 변수가 충분히 활용되지 못할 수 있습니다. 본 논문에서는 기하학 상태를 구조화하는 동시에 잠재 변수 매개 답변 학습을 촉진하기 위해 공통-잔차 기하학 정렬(CR-GEO)과 라우팅된 최적화(routed optimization)를 결합한 GeoLatent를 제안합니다. CR-GEO는 공유되는 교사 기하학과 잔차 교사 기하학을 분리합니다. 라우팅된 최적화는 기하학과 언어를 공동으로 학습시키고, 시각적 답변 학습 경로를 잠재 변수를 거치도록 일시적으로 유도하며, 기하학 지도와 함께 완전한 어텐션을 복원합니다. 통제된 비교 실험에서 CR-GEO는 기하학 유효 순위(effective rank)를 1.00에서 3.87로 향상시켰으며, 병목 구간에서 잠재 변수 판독을 차단했을 때 128개의 고정된 질문에서 방향 정확도가 89.1%에서 25.8%로 떨어졌습니다. 복원 후에도 차별화된 기하학적 표현과 잠재 변수 매개 시각적 경로는 직접적인 이미지 접근과 함께 유지됩니다. GeoLatent는 SPAR-Bench에서 73.0%, SPBench에서 72.1%를 달성하여 두 벤치마크 모두에서 기존에 보고된 방법들을 능가합니다.