LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델
LVSPM: Long Sequence View Synthesis and Pose Estimation Model
한국어 초록
본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.
원문 초록
We present LVSPM, a generalizable model that jointly estimates camera poses and synthesizes novel views from uncalibrated image collections. Trained with only RGB images and pose supervision, LVSPM avoids dense 3D ground truth and employs test-time training (TTT) layers to scale seamlessly to hundreds of input views. On RealEstate10k, Co3Dv2, and DL3DV, LVSPM surpasses VGGT in pose estimation across 16-256 views, with especially large margins at strict thresholds. For novel view synthesis under a practical protocol where more views cover larger scenes, LVSPM achieves state-of-the-art pose-free quality---surpassing even pose-dependent models in PSNR---and still maintains high quality as scene scale grows, while baselines collapse. The code is available at https://burningdust21.github.io/Projects/LVSPM .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동적 신규 시점 합성을 위한 온라인 신경 시공간 메모리
Online Neural Space Time Memory for Dynamic Novel View Synthesis
다중 뷰 스트리밍 비디오 기반의 온라인 신규 시점 합성(novel view synthesis)은 근본적인 트레이드오프에 직면합니다. 즉, 엄격한 실시간 제약 조건 하에서 작동하면서도 일시적으로 가려진 영역을 재구성하기 위해 영구적이고 장기적인 메모리를 유지해야 한다는 점입니다. 테스트 시간 학습(Test-Time Training, TTT)은 강력한 메모리 메커니즘을 제공하지만, 표준 모델들은 동적 장면의 변화하는 모션에 적응하기 위해 매 프레임마다 그래디언트 기반 메모리 업데이트를 요구합니다. 이처럼 과도한 메모리 업데이트에 드는 연산 비용은 실시간 적용을 불가능하게 만들며 장기 컨텍스트에서 불안정성을 초래할 수 있습니다. 메모리 적용보다 메모리 업데이트가 더 많은 연산을 요구하고 비디오 콘텐츠에 중복성이 높다는 점에 착안하여, 본 논문은 이 두 프로세스의 주기를 분리(decouple)할 것을 제안합니다. 제안하는 방식은 메모리를 프레임 단위로 적용하면서 메모리 업데이트는 주기적으로 수행하며, 이전 메모리 상태와 현재 프레임 간의 변형을 처리하기 위해 교차 뷰 어텐션(cross-view attention)을 사용합니다. 과거 컨텍스트를 안정적으로 고정하기 위해 두 가지 핵심 메커니즘을 도입합니다. 장면의 지속적인 내재화를 강제하는 보조 메모리 손실(Memory Loss)과 활성 가중치가 치명적으로 표류(catastrophic drift)하는 것을 정규화하는 메모리 캐싱 전략입니다. 본 연구의 방법은 상각된 실시간 속도로 온라인 동적 인간 장면에서 SOTA 수준의 분 단위 메모리 지속성을 입증합니다.
3DROID: 씬별 측정된 신뢰도를 갖춘 렌더링 가능한 3D 가우시안 데이터셋
3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability
로봇 조작(manipulation) 모델은 주로 3차원 물리적 세계에서 동작하면서도 2차원 관측으로부터 추론합니다. 이러한 격차를 해소하기 위해 최근 연구에서는 로봇 데이터에 깊이(depth), 점군(point cloud), 3차원 궤적과 같은 기하학적 사전 정보를 보강해 왔으며, 렌더링 가능한 3D 가우시안 표현(3D Gaussian representations) 또한 유망한 또 다른 형태의 3차원 지도(supervision)를 제공합니다. 그러나 3DGS 표현은 주로 측광학적 충실도(photometric fidelity)를 위해 설계되었으며, 특히 제공된 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없는 경우 실제 세계의 미터법 스케일(metric scale)을 보존하지 못할 수 있습니다. 본 연구에서는 피드포워드(feed-forward) 3DGS에서 외부 파라미터 신뢰도와 포즈 조건화(pose conditioning)가 미치는 영향을 조사하고, 재구성된 씬을 로봇의 미터법 작업 공간(metric workspace)에 고정(anchor)하는 캘리브레이션 인식 파이프라인을 제안합니다. 실험 결과, 포즈 조건화는 새로운 시점의 충실도를 향상시키는 반면, 기하학적 이점은 주입된 외부 파라미터의 신뢰도에 따라 좌우됨을 보여줍니다. 이 파이프라인을 활용하여, 로봇 조작 연구를 위한 씬 수준의 신뢰도 정보가 포함된 렌더링 가능하고 미터법 포즈가 고정된 데이터셋을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/wonguen/3DROID 에서 이용할 수 있습니다.
TOM-GS: 정적 3D 가우시안의 시간적 불투명도 변조를 통한 편집 가능한 비디오 표현
TOM-GS: Editable Video Representation via Temporal Opacity Modulation of Static 3D Gaussians
암시적 신경 표현(INR)과 동적 3D 가우시안 스플래팅(3DGS)은 비디오 처리에서 인상적인 결과를 달성하지만, 쉽게 편집할 수 있는 표현을 만들기에는 종종 부족하다. 최근 방법들은 복잡한 공간 변형이나 접힌 분포를 도입하여 이를 해결하지만, 이는 최적화를 제약하고 하위 편집 작업의 유연성을 줄인다. 본 논문에서는 복잡한 변형 대신 연속적인 시간적 불투명도 공식을 갖춘 일반적인 3D 가우시안을 사용하는 편집 가능한 비디오 표현인 TOM-GS를 제안한다. 각 가우시안의 불투명도에 학습 가능한 시간적 평균과 스케일을 할당함으로써, 모델은 정적 3D 공간 구성 요소가 장면에서 부드럽게 나타났다 사라지도록 한다. 견고한 기성 포즈 추정에 기반하여, 우리 접근법은 정적 공간 기하학을 유지하며 자연스럽게 다양한 수동 및 물리 기반 편집을 지원한다. TOM-GS는 시각적 충실도에서 기존 편집 가능한 비디오 표현을 능가하며, 표준 3D 가우시안에 의존함으로써 기존 3D 편집 도구와의 원활한 호환성을 보장한다.
신규 뷰 합성을 통한 에일리어싱·저텍스처 환경에서의 희소 시점 기반 시각적 재국소화
Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis
행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.
GLAM-SLAM: 흐름 밀집화 및 공간 분해를 통한 실시간 가우시안 대규모 매핑
GLAM-SLAM: Real-time Gaussian Large-scale Mapping via Flow Densification and Spatial Decomposition
기존 가우시안 스플래팅(Gaussian Splatting) 기반 단안 동시 위치 추정 및 지도 작성(SLAM) 시스템은 짧은 시퀀스에 특화되어 있거나 실시간이 아니거나, 과도한 GPU 메모리 요구로 인한 문제가 있어 현실적인 장기 시나리오에서의 적용이 제한된다. 이를 해결하기 위해, 대규모 실외 장면을 위해 설계된 실시간 분리형(decoupled) 가우시안 스플래팅 SLAM 시스템인 GLAM-SLAM을 제안한다. 견고한 특징(feature) 기반 SLAM 프론트엔드를 사용하여 경량 추적을 보장하고, 매핑에서는 구조화된 희소 앵커 그리드 표현을 채택하여 확장 가능한 동작을 보장하고 장기 시퀀스에 걸친 장면 일관성을 유지한다. 3D 가우시안 스플래팅(3DGS)의 밀집 초기화(initialization) 요구사항을 충족하기 위해, 에피폴라(epipolar) 제약을 사용하는 기하학 기반 흐름 밀집화(flow-densification) 앵커링 전략을 도입한다. 또한 매핑을 다중 장면(multi-scene) 문제로 취급하여, MLP 초기화를 통해 강한 공간적 귀납 바이어스(bias)를 도입하여 국소화된 가우시안을 생성하는 장면 분할(scene-partitioning) 전략을 제안한다. 도전적인 장시퀀 KITTI Odometry, Oxford RobotCar, M'alaga 데이터셋에서 시스템을 평가한다. 광범위한 ablation 및 비교를 통해 두 번째로 우수한 방법 대비 재구성 품질에서 15% 향상을 보이면서, 실시간 성능과 더 긴 시퀀스로 확장 가능한 능력을 유지함을 입증한다. 코드는 커뮤니티를 위해 공개되어 있다.
T3HG-Editor: SMPL-X에 내장된 신체 사전 정보를 활용한 텍스트 기반 3D 인간 의상 편집
T3HG-Editor: Text-driven 3D Human Garment Editing with Body Priors Embedded in SMPL-X
3D 가우시안 편집(3DGE)이 상당한 진전을 이루었지만, 텍스트 기반 3D 인간 의상 편집은 여전히 연구가 거의 이루어지지 않은 상태이다. 기존 3DGE 연구는 일반적으로 다시점 렌더링 이미지에 2D 편집 기법을 적용하고 수정된 이미지를 바탕으로 3D Gaussian을 업데이트하는 패러다임을 따른다. 이러한 방법을 3D 인간 의상 편집에 확장하면 왜곡과 의상 불일치로 인해 저품질 결과가 발생한다. 가상 인간을 위한 풍부한 사전 정보를 담고 있는 SMPL eXpressive(SMPL-X) 모델에서 유망한 돌파구를 찾을 수 있다. 이 통찰에 영감을 받아, SMPL-X에 내장된 기하 및 관절 사전 정보를 활용하여 고품질이며 의상 일관성 있는 결과를 제공하는 텍스트 기반 3D 인간 의상 편집기 T3HG-Editor를 제안한다. 구체적으로, T3HG-Editor는 편집 가능한 Gaussian 획득, 의상 일관성 편집, 그리고 오버플로우 가지치기를 수반한 Gaussian 업데이트의 세 단계로 구성된다. 편집 가능한 Gaussian 획득은 SMPL-X 법선을 따라 Gaussian을 시딩하여 충분한 근표면 Gaussian을 생성하는 것으로 시작하며, 이어 2D 마스크 제약으로 편집 대상 Gaussian을 정밀하게 국소화한다. 의상 일관성 편집은 여러 시점에서 동일한 SMPL-X 정점에 해당하는 토큰을 집계하고 원래 시점으로 전파하여 추가 학습 없이 의상 일관성을 강제한다. 오버플로우 가지치기를 수반한 Gaussian 업데이트는 SMPL-X 위에 정의된 부호 거리 함수(SDF)를 사용해 인간 거리 필드를 구성하고, 이를 2D 의미 마스크와 통합하여 넘치는 Gaussian을 가지치기함으로써 비대상 영역의 오염을 방지한다. 여러 피사체와 다양한 의상 유형에 대한 실험은 T3HG-Editor가 편집 품질과 의상 일관성 모두에서 최신 기법들보다 우수한 성능을 보임을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
ECCV 2026. Project Page: https://burningdust21.github.io/Projects/LVSPM/