X-GS: 3D 가우시안 스플래팅을 통한 인지 및 사고를 위한 확장 가능한 프레임워크
X-GS: An Extensible Framework for Perceiving and Thinking with 3D Gaussian Splatting
한국어 초록
3D 가우시안 스플래팅(3DGS)은 새로운 뷰 합성(novel view synthesis)을 위한 강력한 기법으로 부상하였으며, 이후 수많은 공간 AI(spatial AI) 애플리케이션으로 확장되고 있습니다. 그러나 기존의 대부분의 3DGS 방법들은 특정 도메인에만 집중하며 고립되어 작동합니다. 본 논문에서는 공간 작업을 위한 VLM의 인지 모듈에 이처럼 기존에 고립되어 있던 3DGS 방법들을 통합하는 확장 가능한 프레임워크인 X-GS를 소개하며, 이는 $\textit{Perceiver}$와 $\textit{Thinker}$라는 두 가지 주요 구성 요소를 갖추고 있습니다. $\textit{Perceiver}$는 시맨틱 지식 증류(semantic distillation)를 동반한 온라인 3DGS 기반 SLAM을 수행하고, 카메라 포즈가 없는(unposed) 비디오 스트림으로부터 시맨틱 가우시안을 출력합니다. 또한 더 강력한 기하학적 사전 정보를 얻기 위해 최신 비전 파운데이션 모델을 활용하며, 시맨틱 지식 증류 효율성을 향상시키기 위한 세 가지 새로운 최적화(optimization) 기법을 소개합니다. $\textit{Thinker}$는 다양한 VLM을 이러한 시맨틱 가우시안과 연동하여 3D 시각적 그라운딩(visual grounding) 및 씬 캡셔닝(scene captioning)과 같은 공간 멀티모달 역량을 발현시킵니다. 다양한 벤치마크(benchmark)에 대한 실험 결과는 X-GS 프레임워크의 효율성과 새롭게 발현된 멀티모달 능력을 입증합니다.
원문 초록
3D Gaussian Splatting (3DGS) has emerged as a powerful technique for novel view synthesis, subsequently extending into numerous spatial AI applications. However, most existing 3DGS methods operate in isolation, focusing on specific domains. In this paper, we introduce X-GS, an extensible framework that integrates previously isolated 3DGS methods into the perception module of a VLM for spatial tasks, with two major components: the $\textit{Perceiver}$ and the $\textit{Thinker}$. The $\textit{Perceiver}$ performs online 3DGS-based SLAM with semantic distillation and outputs semantic Gaussians from unposed video streams. It leverages recent vision foundation models for stronger geometric priors, and we introduce three novel optimizations to improve semantic distillation efficiency. The $\textit{Thinker}$ interfaces diverse VLMs with these semantic Gaussians, unlocking spatial multimodal capabilities such as 3D visual grounding and scene captioning. Experimental results on diverse benchmarks demonstrate the efficiency and newly unlocked multimodal capabilities of the X-GS framework.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.09632v5제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델
LVSPM: Long Sequence View Synthesis and Pose Estimation Model
본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.
3DROID: 씬별 측정된 신뢰도를 갖춘 렌더링 가능한 3D 가우시안 데이터셋
3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability
로봇 조작(manipulation) 모델은 주로 3차원 물리적 세계에서 동작하면서도 2차원 관측으로부터 추론합니다. 이러한 격차를 해소하기 위해 최근 연구에서는 로봇 데이터에 깊이(depth), 점군(point cloud), 3차원 궤적과 같은 기하학적 사전 정보를 보강해 왔으며, 렌더링 가능한 3D 가우시안 표현(3D Gaussian representations) 또한 유망한 또 다른 형태의 3차원 지도(supervision)를 제공합니다. 그러나 3DGS 표현은 주로 측광학적 충실도(photometric fidelity)를 위해 설계되었으며, 특히 제공된 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없는 경우 실제 세계의 미터법 스케일(metric scale)을 보존하지 못할 수 있습니다. 본 연구에서는 피드포워드(feed-forward) 3DGS에서 외부 파라미터 신뢰도와 포즈 조건화(pose conditioning)가 미치는 영향을 조사하고, 재구성된 씬을 로봇의 미터법 작업 공간(metric workspace)에 고정(anchor)하는 캘리브레이션 인식 파이프라인을 제안합니다. 실험 결과, 포즈 조건화는 새로운 시점의 충실도를 향상시키는 반면, 기하학적 이점은 주입된 외부 파라미터의 신뢰도에 따라 좌우됨을 보여줍니다. 이 파이프라인을 활용하여, 로봇 조작 연구를 위한 씬 수준의 신뢰도 정보가 포함된 렌더링 가능하고 미터법 포즈가 고정된 데이터셋을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/wonguen/3DROID 에서 이용할 수 있습니다.
WorldCrafter: 암시적 3D 인식 메모리를 갖춘 일관된 비디오 월드 모델
WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
비디오 월드 모델(video world model)은 동적 환경의 인터랙티브한 탐험을 가능하게 하지만, 긴 지평(long horizon)과 다양한 시점에 걸쳐 이전 관측 결과를 온전히 반영하는 데 어려움을 겪습니다. 본 논문에서는 이를 위해 카메라로 쿼리 가능한 암시적 3D 인식 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제시합니다. 핵심 통찰은 요청된 시점이 비디오 생성기의 제한된 토큰 예산 내에서 다중 뷰 단서가 압축되는 방식을 결정하도록 하는 것입니다. 비디오 생성기와 공동으로 학습되는 메모리 인코더 및 포즈 조건부 판독(readout) 모듈은 명시적인 깊이 기반 대응점 없이도 디노이징 전에 이전 관측값들을 고정된 수의 목표 시점 특화 토큰 세트로 통합합니다. 이 메모리를 최근 시간적 컨텍스트 및 소수 단계 지식 증류(few-step distillation)와 결합함으로써, WorldCrafter는 단일 입력 이미지 또는 텍스트 프롬프트로부터 스트리밍 장면 탐험을 가능하게 합니다. 정적 및 동적 장면에 걸친 실험 결과, 분 단위 탐험 중에도 시각적 품질을 유지하면서 긴 지평의 일관성과 카메라 제어 정확도 측면에서 상당한 성능 향상을 입증합니다.
ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기
ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning
본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.
Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.