arXiv:2308.15049

Pose-Free Neural Radiance Fields via Implicit Pose Regularization

Jiahui Zhang, Fangneng Zhan, Yingchen Yu, Kunhao Liu, Rongliang Wu, Xiaoqin Zhang, Ling Shao, Shijian Lu

제출 2023-08-29

원문 초록

Pose-free neural radiance fields (NeRF) aim to train NeRF with unposed multi-view images and it has achieved very impressive success in recent years. Most existing works share the pipeline of training a coarse pose estimator with rendered images at first, followed by a joint optimization of estimated poses and neural radiance field. However, as the pose estimator is trained with only rendered images, the pose estimation is usually biased or inaccurate for real images due to the domain gap between real images and rendered images, leading to poor robustness for the pose estimation of real images and further local minima in joint optimization. We design IR-NeRF, an innovative pose-free NeRF that introduces implicit pose regularization to refine pose estimator with unposed real images and improve the robustness of the pose estimation for real images. With a collection of 2D images of a specific scene, IR-NeRF constructs a scene codebook that stores scene features and captures the scene-specific pose distribution implicitly as priors. Thus, the robustness of pose estimation can be promoted with the scene priors according to the rationale that a 2D real image can be well reconstructed from the scene codebook only when its estimated pose lies within the pose distribution. Extensive experiments show that IR-NeRF achieves superior novel view synthesis and outperforms the state-of-the-art consistently across multiple synthetic and real datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13757v1cs.CV공통 태그 Novel View Synthesis, NeRF

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2610.10960v1cs.CV공통 태그 Pose Estimation, Novel View Synthesis

LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델

LVSPM: Long Sequence View Synthesis and Pose Estimation Model

본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.

arXiv:2610.03717v1cs.CV공통 태그 Pose Estimation, Novel View Synthesis

적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습

Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io

arXiv:2610.01744v1cs.CV공통 태그 Pose Estimation, Novel View Synthesis

3DROID: 씬별 측정된 신뢰도를 갖춘 렌더링 가능한 3D 가우시안 데이터셋

3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability

로봇 조작(manipulation) 모델은 주로 3차원 물리적 세계에서 동작하면서도 2차원 관측으로부터 추론합니다. 이러한 격차를 해소하기 위해 최근 연구에서는 로봇 데이터에 깊이(depth), 점군(point cloud), 3차원 궤적과 같은 기하학적 사전 정보를 보강해 왔으며, 렌더링 가능한 3D 가우시안 표현(3D Gaussian representations) 또한 유망한 또 다른 형태의 3차원 지도(supervision)를 제공합니다. 그러나 3DGS 표현은 주로 측광학적 충실도(photometric fidelity)를 위해 설계되었으며, 특히 제공된 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없는 경우 실제 세계의 미터법 스케일(metric scale)을 보존하지 못할 수 있습니다. 본 연구에서는 피드포워드(feed-forward) 3DGS에서 외부 파라미터 신뢰도와 포즈 조건화(pose conditioning)가 미치는 영향을 조사하고, 재구성된 씬을 로봇의 미터법 작업 공간(metric workspace)에 고정(anchor)하는 캘리브레이션 인식 파이프라인을 제안합니다. 실험 결과, 포즈 조건화는 새로운 시점의 충실도를 향상시키는 반면, 기하학적 이점은 주입된 외부 파라미터의 신뢰도에 따라 좌우됨을 보여줍니다. 이 파이프라인을 활용하여, 로봇 조작 연구를 위한 씬 수준의 신뢰도 정보가 포함된 렌더링 가능하고 미터법 포즈가 고정된 데이터셋을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/wonguen/3DROID 에서 이용할 수 있습니다.

arXiv:2609.22641v1cs.CV공통 태그 Pose Estimation, Novel View Synthesis

ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅

ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models

자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.

arXiv:2607.12214v2cs.CV공통 태그 Pose Estimation, Novel View Synthesis

완벽한 사전 지식을 넘어서: 실환경 4D 주행 재구성을 위한 적응형 가우시안 그래프

Robust 4D Driving Scene Reconstruction from Imperfect Visual Priors

실환경(in-the-wild)에서 4D 주행 장면을 재구성하는 것(예: 인터넷 및 AI 생성 비디오)은 다양한 자율주행 시뮬레이션에 필수적이다. 최근 가우시안 씬 그래프(GSG) 방법들은 인상적인 시각적 품질을 달성하지만, 정확한 카메라 포즈, LiDAR 깊이, 또는 수동 어노테이션과 같은 정밀한 사전 지식(priors)에 크게 의존한다. 실환경 비디오에서 추정된 노이즈가 있는 사전 지식으로 초기화하면, 기존 GSG 방법들은 최적화 모호성(예: 카메라와 에이전트 포즈의 얽힘)과 위상학적 실패(예: 객체 누락)로 인해 심각한 렌더링 아티팩트가 발생한다. 견고한 실환경 재구성을 가능하게 하기 위해, 자기 교정(self-correcting) 4D 프레임워크인 적응형 가우시안 그래프(AGG)를 제안한다. 의미론적 가이드 Tick-Tock 전략은 2D 파운데이션 특징을 활용하여 정적 배경 및 카메라 포즈 업데이트를 동적 에이전트 학습과 명시적으로 분리한다. 동시에, 적응형 위상 진화(Adaptive Topology Evolution) 모듈은 누락된 에이전트를 생성하고, 잘못 분류된 가우시안을 재할당하며, 거짓 양성을 가지치기하여 그래프 구조를 능동적으로 교정한다. 이 실환경 설정을 엄밀하게 평가하기 위해, 인터넷 및 생성형 비디오로 구성된 도전적인 벤치마크 Wild-30을 도입한다. KITTI와 Wild-30에 대한 광범위한 실험을 통해, AGG가 노이즈가 있는 사전 지식 하에서 시각적 충실도와 견고함 측면에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 검증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.