arXiv:2309.11525

Light Field Diffusion for Single-View Novel View Synthesis

Yifeng Xiong, Haoyu Ma, Shanlin Sun, Kun Han, Hao Tang, Xiaohui Xie

제출 2023-09-20

원문 초록

Single-view novel view synthesis (NVS), the task of generating images from new viewpoints based on a single reference image, is important but challenging in computer vision. Recent advancements in NVS have leveraged Denoising Diffusion Probabilistic Models (DDPMs) for their exceptional ability to produce high-fidelity images. However, current diffusion-based methods typically utilize camera pose matrices to globally and implicitly enforce 3D constraints, which can lead to inconsistencies in images generated from varying viewpoints, particularly in regions with complex textures and structures. To address these limitations, we present Light Field Diffusion (LFD), a novel conditional diffusion-based approach that transcends the conventional reliance on camera pose matrices. Starting from the camera pose matrices, LFD transforms them into light field encoding, with the same shape as the reference image, to describe the direction of each ray. By integrating light field encoding with the reference image, our method imposes local pixel-wise constraints within the diffusion process, fostering enhanced view consistency. Our approach not only involves training image LFD on the ShapeNet Car dataset but also includes fine-tuning a pre-trained latent diffusion model on the Objaverse dataset. This enables our latent LFD model to exhibit remarkable zero-shot generalization capabilities across out-of-distribution datasets like RTMV as well as in-the-wild images. Experiments demonstrate that LFD not only produces high-fidelity images but also achieves superior 3D consistency in complex regions, outperforming existing novel view synthesis methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02726v1cs.CV공통 태그 Denoising, Novel View Synthesis

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.01914v1cs.CV공통 태그 Denoising, Novel View Synthesis

DecomVoxel: 분해 기반 장면 재구성을 위한 유도형 제자리 노이즈 제거 최적화 기반 3D 네이티브 사전 확률 활용

DecomVoxel: Harnessing 3D-Native Priors with Guided In-situ Denoising Optimization for Decompositional Scene Reconstruction

분해 기반 장면 재구성(decompositional scene reconstruction)은 고품질의 객체와 배경을 재구성하는 것을 목표로 하지만, 기존 방법들은 심한 가림(occlusion) 상황에서 충분한 품질을 확보하는 데 여전히 어려움을 겪고 있습니다. 생성형 사전 확률(generative prior)이 잠재적인 해결책을 제시하지만, 2D 이미지 기반 사전 확률은 3D 인식 부족으로 인해 다중 뷰 불일치(multi-view inconsistency) 문제를 자주 겪습니다. 반대로 3D 네이티브 사전 확률은 더 강력한 구조적 귀납 편향(inductive bias)을 제공하지만 복잡한 장면 내에서 공간적 드리프트(spatial drift)와 정렬 불량을 빈번하게 유발합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 객체 완성을 3D 네이티브 사전 확률과 신경망 장면 재구성을 연결하는 유도형 제자리 노이즈 제거 최적화(guided in-situ denoising optimization)로 공식화한 DecomVoxel을 제안합니다. 제안하는 프레임워크는 안정적인 잠재 공간 개선(latent refinement)을 보장하기 위해 재구성된 엡실론(epsilon) 기반 증류 손실(distillation loss)을 도입하고, 시간적 어닐링(temporal annealing)과 함께 점유 및 비어 있는 앵커(occupied and vacant anchors)를 활용하는 적응형 공간 가이던스를 통해 생성형 환각(hallucination)을 억제하고 공간적 드리프트를 완화합니다. Replica 및 ScanNet++ 데이터셋에 대한 실험 결과, DecomVoxel은 원래의 공간 배치, 구조적 충실도 및 스타일 일관적인 텍스처를 충실히 보존하면서 기존 SOTA(state-of-the-art) 방법들을 크게 능가하는 것으로 나타났습니다. 본 방법은 깔끔한 위상(topology), 기하학적 구조 및 외형을 갖춘 고품질 텍스처 메시를 제공함으로써 분해 기반 재구성의 한계를 넓히고, 복잡한 실제 환경 장면에 대한 분해 재구성을 위한 강력한 솔루션을 제공합니다. 코드는 https://github.com/DecomVoxel/DecomVoxel 에서 확인할 수 있습니다.

arXiv:2609.24815v1cs.RO공통 태그 Denoising, Novel View Synthesis

Uranus: 임바디드 AI(Embodied AI)를 위한 차세대 시뮬레이션 인프라 구축

Uranus: Building the Next-Generation Simulation Infrastructure for Embodied AI

확장 가능한 시뮬레이션은 로봇 데이터 생성, 정책 학습, 평가, 안전한 반복(iteration)에 필수적이지만, 실제 환경과의 상호작용은 비용이 많이 들고 기존 시뮬레이터는 노동집약적인 구축 과정을 요구한다. 우리는 관절 궤적 조건부 자기회귀 확산 모델(joint-trajectory-conditioned autoregressive diffusion model)을 중심으로 구축된 데이터 기반 로봇 시뮬레이터 Uranus를 소개한다. Uranus는 세 가지 핵심 기능을 제공한다: (1) 스트리밍 방식의 개방형 롤아웃(rollout)으로, 미래의 관절 위치 궤적을 온라인으로 수신하여 고정된 시간 범위(horizon) 없이 매 스텝마다 4개의 RGB 프레임에 해당하는 하나의 잠재 프레임(latent frame)을 자기회귀적으로 생성한다; (2) 낮은 지연 시간의 생성으로, 추론(inference) 최적화 이후 24 FPS를 달성한다; (3) 확장 가능하며 확장이 용이한(extensible) 로봇 제어로, 다양한 로봇 구현체(embodiment)와 카메라 구성 전반에 걸쳐 동기화된 다중 시점 생성을 위한 통합 인터페이스를 제공한다. 우리는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에 대해 포괄적인 정량적·정성적 평가를 수행하여 Uranus에 대한 객관적인 평가를 제시하고 현재의 한계를 명확히 규명한다. 우리는 코드와 모델 가중치를 공개하여 커뮤니티에 실용적인 도구와 통찰을 제공한다.

arXiv:2609.24984v1cs.CV공통 태그 Denoising, Novel View Synthesis

WorldCrafter: 암시적 3D 인식 메모리를 갖춘 일관된 비디오 월드 모델

WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

비디오 월드 모델(video world model)은 동적 환경의 인터랙티브한 탐험을 가능하게 하지만, 긴 지평(long horizon)과 다양한 시점에 걸쳐 이전 관측 결과를 온전히 반영하는 데 어려움을 겪습니다. 본 논문에서는 이를 위해 카메라로 쿼리 가능한 암시적 3D 인식 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제시합니다. 핵심 통찰은 요청된 시점이 비디오 생성기의 제한된 토큰 예산 내에서 다중 뷰 단서가 압축되는 방식을 결정하도록 하는 것입니다. 비디오 생성기와 공동으로 학습되는 메모리 인코더 및 포즈 조건부 판독(readout) 모듈은 명시적인 깊이 기반 대응점 없이도 디노이징 전에 이전 관측값들을 고정된 수의 목표 시점 특화 토큰 세트로 통합합니다. 이 메모리를 최근 시간적 컨텍스트 및 소수 단계 지식 증류(few-step distillation)와 결합함으로써, WorldCrafter는 단일 입력 이미지 또는 텍스트 프롬프트로부터 스트리밍 장면 탐험을 가능하게 합니다. 정적 및 동적 장면에 걸친 실험 결과, 분 단위 탐험 중에도 시각적 품질을 유지하면서 긴 지평의 일관성과 카메라 제어 정확도 측면에서 상당한 성능 향상을 입증합니다.

arXiv:2610.13503v2cs.CV공통 태그 Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.