Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis
원문 초록
Conventional geometry-based SLAM systems lack dense 3D reconstruction capabilities since their data association usually relies on feature correspondences. Additionally, learning-based SLAM systems often fall short in terms of real-time performance and accuracy. Balancing real-time performance with dense 3D reconstruction capabilities is a challenging problem. In this paper, we propose a real-time RGB-D SLAM system that incorporates a novel view synthesis technique, 3D Gaussian Splatting, for 3D scene representation and pose estimation. This technique leverages the real-time rendering performance of 3D Gaussian Splatting with rasterization and allows for differentiable optimization in real time through CUDA implementation. We also enable mesh reconstruction from 3D Gaussians for explicit dense 3D reconstruction. To estimate accurate camera poses, we utilize a rotation-translation decoupled strategy with inverse optimization. This involves iteratively updating both in several iterations through gradient-based optimization. This process includes differentiably rendering RGB, depth, and silhouette maps and updating the camera parameters to minimize a combined loss of photometric loss, depth geometry loss, and visibility loss, given the existing 3D Gaussian map. However, 3D Gaussian Splatting (3DGS) struggles to accurately represent surfaces due to the multi-view inconsistency of 3D Gaussians, which can lead to reduced accuracy in both camera pose estimation and scene reconstruction. To address this, we utilize depth priors as additional regularization to enforce geometric constraints, thereby improving the accuracy of both pose estimation and 3D reconstruction. We also provide extensive experimental results on public benchmark datasets to demonstrate the effectiveness of our proposed methods in terms of pose accuracy, geometric accuracy, and rendering performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델
LVSPM: Long Sequence View Synthesis and Pose Estimation Model
본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.
3DROID: 씬별 측정된 신뢰도를 갖춘 렌더링 가능한 3D 가우시안 데이터셋
3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability
로봇 조작(manipulation) 모델은 주로 3차원 물리적 세계에서 동작하면서도 2차원 관측으로부터 추론합니다. 이러한 격차를 해소하기 위해 최근 연구에서는 로봇 데이터에 깊이(depth), 점군(point cloud), 3차원 궤적과 같은 기하학적 사전 정보를 보강해 왔으며, 렌더링 가능한 3D 가우시안 표현(3D Gaussian representations) 또한 유망한 또 다른 형태의 3차원 지도(supervision)를 제공합니다. 그러나 3DGS 표현은 주로 측광학적 충실도(photometric fidelity)를 위해 설계되었으며, 특히 제공된 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없는 경우 실제 세계의 미터법 스케일(metric scale)을 보존하지 못할 수 있습니다. 본 연구에서는 피드포워드(feed-forward) 3DGS에서 외부 파라미터 신뢰도와 포즈 조건화(pose conditioning)가 미치는 영향을 조사하고, 재구성된 씬을 로봇의 미터법 작업 공간(metric workspace)에 고정(anchor)하는 캘리브레이션 인식 파이프라인을 제안합니다. 실험 결과, 포즈 조건화는 새로운 시점의 충실도를 향상시키는 반면, 기하학적 이점은 주입된 외부 파라미터의 신뢰도에 따라 좌우됨을 보여줍니다. 이 파이프라인을 활용하여, 로봇 조작 연구를 위한 씬 수준의 신뢰도 정보가 포함된 렌더링 가능하고 미터법 포즈가 고정된 데이터셋을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/wonguen/3DROID 에서 이용할 수 있습니다.
TOM-GS: 정적 3D 가우시안의 시간적 불투명도 변조를 통한 편집 가능한 비디오 표현
TOM-GS: Editable Video Representation via Temporal Opacity Modulation of Static 3D Gaussians
암시적 신경 표현(INR)과 동적 3D 가우시안 스플래팅(3DGS)은 비디오 처리에서 인상적인 결과를 달성하지만, 쉽게 편집할 수 있는 표현을 만들기에는 종종 부족하다. 최근 방법들은 복잡한 공간 변형이나 접힌 분포를 도입하여 이를 해결하지만, 이는 최적화를 제약하고 하위 편집 작업의 유연성을 줄인다. 본 논문에서는 복잡한 변형 대신 연속적인 시간적 불투명도 공식을 갖춘 일반적인 3D 가우시안을 사용하는 편집 가능한 비디오 표현인 TOM-GS를 제안한다. 각 가우시안의 불투명도에 학습 가능한 시간적 평균과 스케일을 할당함으로써, 모델은 정적 3D 공간 구성 요소가 장면에서 부드럽게 나타났다 사라지도록 한다. 견고한 기성 포즈 추정에 기반하여, 우리 접근법은 정적 공간 기하학을 유지하며 자연스럽게 다양한 수동 및 물리 기반 편집을 지원한다. TOM-GS는 시각적 충실도에서 기존 편집 가능한 비디오 표현을 능가하며, 표준 3D 가우시안에 의존함으로써 기존 3D 편집 도구와의 원활한 호환성을 보장한다.
신규 뷰 합성을 통한 에일리어싱·저텍스처 환경에서의 희소 시점 기반 시각적 재국소화
Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis
행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.
GLAM-SLAM: 흐름 밀집화 및 공간 분해를 통한 실시간 가우시안 대규모 매핑
GLAM-SLAM: Real-time Gaussian Large-scale Mapping via Flow Densification and Spatial Decomposition
기존 가우시안 스플래팅(Gaussian Splatting) 기반 단안 동시 위치 추정 및 지도 작성(SLAM) 시스템은 짧은 시퀀스에 특화되어 있거나 실시간이 아니거나, 과도한 GPU 메모리 요구로 인한 문제가 있어 현실적인 장기 시나리오에서의 적용이 제한된다. 이를 해결하기 위해, 대규모 실외 장면을 위해 설계된 실시간 분리형(decoupled) 가우시안 스플래팅 SLAM 시스템인 GLAM-SLAM을 제안한다. 견고한 특징(feature) 기반 SLAM 프론트엔드를 사용하여 경량 추적을 보장하고, 매핑에서는 구조화된 희소 앵커 그리드 표현을 채택하여 확장 가능한 동작을 보장하고 장기 시퀀스에 걸친 장면 일관성을 유지한다. 3D 가우시안 스플래팅(3DGS)의 밀집 초기화(initialization) 요구사항을 충족하기 위해, 에피폴라(epipolar) 제약을 사용하는 기하학 기반 흐름 밀집화(flow-densification) 앵커링 전략을 도입한다. 또한 매핑을 다중 장면(multi-scene) 문제로 취급하여, MLP 초기화를 통해 강한 공간적 귀납 바이어스(bias)를 도입하여 국소화된 가우시안을 생성하는 장면 분할(scene-partitioning) 전략을 제안한다. 도전적인 장시퀀 KITTI Odometry, Oxford RobotCar, M'alaga 데이터셋에서 시스템을 평가한다. 광범위한 ablation 및 비교를 통해 두 번째로 우수한 방법 대비 재구성 품질에서 15% 향상을 보이면서, 실시간 성능과 더 긴 시퀀스로 확장 가능한 능력을 유지함을 입증한다. 코드는 커뮤니티를 위해 공개되어 있다.
T3HG-Editor: SMPL-X에 내장된 신체 사전 정보를 활용한 텍스트 기반 3D 인간 의상 편집
T3HG-Editor: Text-driven 3D Human Garment Editing with Body Priors Embedded in SMPL-X
3D 가우시안 편집(3DGE)이 상당한 진전을 이루었지만, 텍스트 기반 3D 인간 의상 편집은 여전히 연구가 거의 이루어지지 않은 상태이다. 기존 3DGE 연구는 일반적으로 다시점 렌더링 이미지에 2D 편집 기법을 적용하고 수정된 이미지를 바탕으로 3D Gaussian을 업데이트하는 패러다임을 따른다. 이러한 방법을 3D 인간 의상 편집에 확장하면 왜곡과 의상 불일치로 인해 저품질 결과가 발생한다. 가상 인간을 위한 풍부한 사전 정보를 담고 있는 SMPL eXpressive(SMPL-X) 모델에서 유망한 돌파구를 찾을 수 있다. 이 통찰에 영감을 받아, SMPL-X에 내장된 기하 및 관절 사전 정보를 활용하여 고품질이며 의상 일관성 있는 결과를 제공하는 텍스트 기반 3D 인간 의상 편집기 T3HG-Editor를 제안한다. 구체적으로, T3HG-Editor는 편집 가능한 Gaussian 획득, 의상 일관성 편집, 그리고 오버플로우 가지치기를 수반한 Gaussian 업데이트의 세 단계로 구성된다. 편집 가능한 Gaussian 획득은 SMPL-X 법선을 따라 Gaussian을 시딩하여 충분한 근표면 Gaussian을 생성하는 것으로 시작하며, 이어 2D 마스크 제약으로 편집 대상 Gaussian을 정밀하게 국소화한다. 의상 일관성 편집은 여러 시점에서 동일한 SMPL-X 정점에 해당하는 토큰을 집계하고 원래 시점으로 전파하여 추가 학습 없이 의상 일관성을 강제한다. 오버플로우 가지치기를 수반한 Gaussian 업데이트는 SMPL-X 위에 정의된 부호 거리 함수(SDF)를 사용해 인간 거리 필드를 구성하고, 이를 2D 의미 마스크와 통합하여 넘치는 Gaussian을 가지치기함으로써 비대상 영역의 오염을 방지한다. 여러 피사체와 다양한 의상 유형에 대한 실험은 T3HG-Editor가 편집 품질과 의상 일관성 모두에서 최신 기법들보다 우수한 성능을 보임을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.