6DGS: 6D Pose Estimation from a Single Image and a 3D Gaussian Splatting Model
원문 초록
We propose 6DGS to estimate the camera pose of a target RGB image given a 3D Gaussian Splatting (3DGS) model representing the scene. 6DGS avoids the iterative process typical of analysis-by-synthesis methods (e.g. iNeRF) that also require an initialization of the camera pose in order to converge. Instead, our method estimates a 6DoF pose by inverting the 3DGS rendering process. Starting from the object surface, we define a radiant Ellicell that uniformly generates rays departing from each ellipsoid that parameterize the 3DGS model. Each Ellicell ray is associated with the rendering parameters of each ellipsoid, which in turn is used to obtain the best bindings between the target image pixels and the cast rays. These pixel-ray bindings are then ranked to select the best scoring bundle of rays, which their intersection provides the camera center and, in turn, the camera rotation. The proposed solution obviates the necessity of an "a priori" pose for initialization, and it solves 6DoF pose estimation in closed form, without the need for iterations. Moreover, compared to the existing Novel View Synthesis (NVS) baselines for pose estimation, 6DGS can improve the overall average rotational accuracy by 12% and translation accuracy by 22% on real scenes, despite not requiring any initialization pose. At the same time, our method operates near real-time, reaching 15fps on consumer hardware.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델
LVSPM: Long Sequence View Synthesis and Pose Estimation Model
본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.
적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습
Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
3DROID: 씬별 측정된 신뢰도를 갖춘 렌더링 가능한 3D 가우시안 데이터셋
3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability
로봇 조작(manipulation) 모델은 주로 3차원 물리적 세계에서 동작하면서도 2차원 관측으로부터 추론합니다. 이러한 격차를 해소하기 위해 최근 연구에서는 로봇 데이터에 깊이(depth), 점군(point cloud), 3차원 궤적과 같은 기하학적 사전 정보를 보강해 왔으며, 렌더링 가능한 3D 가우시안 표현(3D Gaussian representations) 또한 유망한 또 다른 형태의 3차원 지도(supervision)를 제공합니다. 그러나 3DGS 표현은 주로 측광학적 충실도(photometric fidelity)를 위해 설계되었으며, 특히 제공된 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없는 경우 실제 세계의 미터법 스케일(metric scale)을 보존하지 못할 수 있습니다. 본 연구에서는 피드포워드(feed-forward) 3DGS에서 외부 파라미터 신뢰도와 포즈 조건화(pose conditioning)가 미치는 영향을 조사하고, 재구성된 씬을 로봇의 미터법 작업 공간(metric workspace)에 고정(anchor)하는 캘리브레이션 인식 파이프라인을 제안합니다. 실험 결과, 포즈 조건화는 새로운 시점의 충실도를 향상시키는 반면, 기하학적 이점은 주입된 외부 파라미터의 신뢰도에 따라 좌우됨을 보여줍니다. 이 파이프라인을 활용하여, 로봇 조작 연구를 위한 씬 수준의 신뢰도 정보가 포함된 렌더링 가능하고 미터법 포즈가 고정된 데이터셋을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/wonguen/3DROID 에서 이용할 수 있습니다.
ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅
ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models
자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.
SAF3R: 피드포워드 3D 재구성 트랜스포머를 위한 동적 희소 어텐션
SAF3R: Dynamic Sparse Attention for Feed-Forward 3D Reconstruction Transformers
피드포워드 3D 재구성(F3R) 트랜스포머는 최근 눈부신 성과를 거두고 있다. 그러나 긴 이미지 시퀀스로 확장하는 것은 여전히 난제로 남아 있는데, 크로스뷰 전역 어텐션의 이차 복잡도가 빠르게 지배적인 연산 병목으로 부상하기 때문이다. 최근 압축 또는 희소 어텐션을 통해 효율성을 개선하려는 시도가 있었으나, 전역 어텐션이 지닌 내재적 희소성과 동적 특성을 충분히 활용하지 못하고 있다. 본 연구에서는 여러 F3R 트랜스포머에 걸쳐 전역 어텐션을 포괄적으로 분석하고, 어텐션 패턴이 레이어와 어텐션 헤드에 따라 매우 이질적이고 동적이며 극도로 희소하다는 사실을 밝힌다. 이 발견에 착안하여, 우리는 F3R 트랜스포머에 특화된 학습 불필요(training-free) 동적 희소 어텐션 프레임워크인 SAF3R을 제안한다. SAF3R은 맞춤형 희소 어텐션 메커니즘, 오프라인 헤드 프로파일링, 그리고 입력 의존적 어텐션 동작에 대응하는 효율적인 온라인 적응 전략을 통합한다. 광범위한 실험을 통해 SAF3R이 높은 희소성 비율을 달성하면서도 카메라 포즈 추정과 3D 재구성 품질을 유지하며, 기존 방법 대비 F3R 트랜스포머의 종단간 처리 속도를 크게 향상시킴을 입증한다. 코드는 https://github.com/jndeng/SAF3R 에서 공개되어 있다.
완벽한 사전 지식을 넘어서: 실환경 4D 주행 재구성을 위한 적응형 가우시안 그래프
Robust 4D Driving Scene Reconstruction from Imperfect Visual Priors
실환경(in-the-wild)에서 4D 주행 장면을 재구성하는 것(예: 인터넷 및 AI 생성 비디오)은 다양한 자율주행 시뮬레이션에 필수적이다. 최근 가우시안 씬 그래프(GSG) 방법들은 인상적인 시각적 품질을 달성하지만, 정확한 카메라 포즈, LiDAR 깊이, 또는 수동 어노테이션과 같은 정밀한 사전 지식(priors)에 크게 의존한다. 실환경 비디오에서 추정된 노이즈가 있는 사전 지식으로 초기화하면, 기존 GSG 방법들은 최적화 모호성(예: 카메라와 에이전트 포즈의 얽힘)과 위상학적 실패(예: 객체 누락)로 인해 심각한 렌더링 아티팩트가 발생한다. 견고한 실환경 재구성을 가능하게 하기 위해, 자기 교정(self-correcting) 4D 프레임워크인 적응형 가우시안 그래프(AGG)를 제안한다. 의미론적 가이드 Tick-Tock 전략은 2D 파운데이션 특징을 활용하여 정적 배경 및 카메라 포즈 업데이트를 동적 에이전트 학습과 명시적으로 분리한다. 동시에, 적응형 위상 진화(Adaptive Topology Evolution) 모듈은 누락된 에이전트를 생성하고, 잘못 분류된 가우시안을 재할당하며, 거짓 양성을 가지치기하여 그래프 구조를 능동적으로 교정한다. 이 실환경 설정을 엄밀하게 평가하기 위해, 인터넷 및 생성형 비디오로 구성된 도전적인 벤치마크 Wild-30을 도입한다. KITTI와 Wild-30에 대한 광범위한 실험을 통해, AGG가 노이즈가 있는 사전 지식 하에서 시각적 충실도와 견고함 측면에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 검증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.