DeLiRa: Self-Supervised Depth, Light, and Radiance Fields
원문 초록
Differentiable volumetric rendering is a powerful paradigm for 3D reconstruction and novel view synthesis. However, standard volume rendering approaches struggle with degenerate geometries in the case of limited viewpoint diversity, a common scenario in robotics applications. In this work, we propose to use the multi-view photometric objective from the self-supervised depth estimation literature as a geometric regularizer for volumetric rendering, significantly improving novel view synthesis without requiring additional information. Building upon this insight, we explore the explicit modeling of scene geometry using a generalist Transformer, jointly learning a radiance field as well as depth and light fields with a set of shared latent codes. We demonstrate that sharing geometric information across tasks is mutually beneficial, leading to improvements over single-task learning without an increase in network complexity. Our DeLiRa architecture achieves state-of-the-art results on the ScanNet benchmark, enabling high quality volumetric rendering as well as real-time novel view and depth synthesis in the limited viewpoint diversity setting.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ReVeal: VLA 정책 평가를 위한 재구성 인식 리얼-투-심 프레임워크
ReVeal: A Reconstruction-Aware Real-to-Sim Framework for VLA Policy Evaluation
시뮬레이션 기반 평가는 비전-언어-행동(VLA) 정책의 실세계 평가에 대한 확장 가능하고 반복 가능한 대안을 제공한다. 그러나 재구성 오류는 시뮬레이션에서의 정책 성능이 실세계 성능과 어긋나게 할 수 있어, 하류 VLA 정책 평가를 위해 재구성된 환경을 평가할 필요가 있다. 우리는 작업 공간 재구성, 재구성 수준 평가, 및 대응되는 폐루프(closed-loop) 정책 평가를 결합한 리얼-투-심 평가 프레임워크 ReVeal을 제안한다. Novel-View Mesh Fidelity(NVMF)와 Annotated Planar Geometry Fidelity(APGF)는 각각 관측 및 평면 기하학적 충실도(fidelity)를 평가한다. 또한 다시점 시각 단서가 제한적인 영역에서 기하를 개선하기 위해 단안 깊이 지도(monocular depth supervision)를 통합한 재구성 파이프라인 PGSR-D를 개발한다. 8개의 평가 장면에 걸쳐 NVMF와 APGF는 2DGS, PGSR, PGSR-D의 충실도를 일관되게 구별한다. 8개의 휴머노이드 조작 과제에 대한 GR00T, SmolVLA, pi0.5의 대응 평가는 파이프라인 전반에 걸쳐 재구성 충실도와 리얼-심 성능 일치 사이에 일관된 순서 관계를 보여준다. 평가 작업 공간에 대한 추가 분석은 더 높은 충실도가 더 강한 리얼-심 일치와 연관됨을 보여준다.
D3GS: 희소 뷰 재구성을 위한 깊이, DINO, RGB 디퓨전 공동 가이드 3D 가우시안 스플래팅
D3GS: Depth, DINO, and RGB Diffusion Co-Guided 3D Gaussian Splatting for Sparse-View Reconstruction
희소 입력으로부터의 새로운 시점 합성(novel view synthesis)은 모호한 기하 구조, 뷰 간 불일치, 그리고 제약이 부족한 영역에서의 디테일 누락으로 인해 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)에서 여전히 어려운 과제이며, 이는 재구성 품질 저하와 불안정한 렌더링으로 이어진다. 이러한 문제를 해결하기 위해, 우리는 기하 구조와 외형(appearance)을 동시에 개선하는 Depth-DINO-Diffusion 가이드 기반 희소 뷰 가우시안 재구성 프레임워크인 D$^{3}$GS를 제안한다. D$^{3}$GS는 먼저 디퓨전 기반 완성(completion)과 DPT(Dense Prediction Transformer) 정제(refinement)를 통해 고해상도의 미터법(metric) 깊이 맵을 복원하여, 강건한 가우시안 초기화와 기하학적 제약을 제공한다. 이어서, DINO 기반 뷰 일관성 학습(view-consistent learning)을 도입하여 가우시안 속성(attribute)에 구조적 특징을 추가함으로써 다중 뷰 일관성을 향상시킨다. 마지막으로, 디퓨전 기반 가우시안 정제 모듈이 생성적 사전 정보(generative prior)를 반복적 최적화(iterative optimization) 전략에 주입하여, 가우시안 표현 내의 고주파 기하 및 외형 디테일을 향상시킨다. DTU, LLFF, Mip-NeRF 360 데이터셋(dataset)에서의 실험 결과, D$^{3}$GS는 강력한 베이스라인(baseline) 대비 일관되고 상당한 성능 향상을 달성하였으며, 어블레이션 연구(ablation study)를 통해 각 구성 요소의 효과성과 상호 보완적 역할이 검증되었다.
GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택
GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting
희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.
GAE: 3D 일관적 세계 생성을 위한 기하학 네이티브 잠재 공간 학습
GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.
RoadVGGT: 도로 구조 인식 피드포워드 도로 표면 재구성
RoadVGGT: Road-Structure-Aware Feed-Forward Road Surface Reconstruction
대규모 도로 표면 재구성은 고해상도 매핑, 자율주행 인식, 어노테이션, 시뮬레이션을 지원한다. 기존 도로 특화 최적화 방법은 고품질 도로 표현을 생성할 수 있지만, 일반적으로 장면별 학습과 주행 궤적 주변의 장면 의존적 커버리지 설계가 필요하여, 새로 수집된 도로에 대한 확장 가능한 재구성을 제한한다. 이러한 한계를 해결하기 위해, 테스트 시점 장면별 최적화 없이 간결한 가우시안 도로 표면을 재구성하는 도로 구조 인식 피드포워드 프레임워크인 RoadVGGT를 제안한다. RoadVGGT는 기하학적 파운데이션 모델을 사용하여 다중 뷰 이미지와 제공된 포즈 및 깊이 관측을 함께 활용하고, 학습된 가우시안 헤드를 통해 밀집한 픽셀 정렬 가우시안 속성을 예측한다. 이러한 밀집 예측을 대규모 도로 표면에 활용 가능하게 하기 위해, 일관된 미터법 세계 좌표계로 정렬하고 도로 정렬 XY 평면에서 신뢰도 가중 그리드 융합을 통해 중복 가우시안을 융합한다. 카테고리 인식 그룹화와 도로-보도 접합부 보호는 취약한 도로 구조 주변의 융합을 추가로 제어한다. 결과 표현은 RGB 및 의미론적 조감도(bird's-eye-view) 맵, 고도 추정, 새로운 시점 합성을 지원한다. RoadVGGT는 기존 방법의 장면별 최적화 필요성을 제거하고, 간결한 가우시안 표현으로 완전한 도로 표면을 재구성하며, 이미지 품질, 의미론적 매핑, 고도 정확도를 향상시킨다. 광범위한 실험은 확장 가능한 피드포워드 도로 표면 재구성을 위한 기하학적 파운데이션 모델의 잠재력을 입증한다.
신규 뷰 합성을 통한 에일리어싱·저텍스처 환경에서의 희소 시점 기반 시각적 재국소화
Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis
행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.