DAV-GSWT: Diffusion-Active-View Sampling for Data-Efficient Gaussian Splatting Wang Tiles
원문 초록
The emergence of 3D Gaussian Splatting has fundamentally redefined the capabilities of photorealistic neural rendering by enabling high-throughput synthesis of complex environments. While procedural methods like Wang Tiles have recently been integrated to facilitate the generation of expansive landscapes, these systems typically remain constrained by a reliance on densely sampled exemplar reconstructions. We present DAV-GSWT, a data-efficient framework that leverages diffusion priors and active view sampling to synthesize high-fidelity Gaussian Splatting Wang Tiles from minimal input observations. By integrating a hierarchical uncertainty quantification mechanism with generative diffusion models, our approach autonomously identifies the most informative viewpoints while hallucinating missing structural details to ensure seamless tile transitions. Experimental results indicate that our system significantly reduces the required data volume while maintaining the visual integrity and interactive performance necessary for large-scale virtual environments.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.15355v5제출 시각 미확인
- arXiv:2602.15355v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ScaleBlind: 미지 스케일 하의 포인트 클라우드 보완
ScaleBlind: Point Cloud Completion under Unknown Scale
포인트 클라우드 보완은 부분 포인트 클라우드로부터 완전한 3D 형상을 추론하는 것을 목표로 하며, 재구성, 편집, 시뮬레이션과 같은 하위 작업의 기본 구성 요소이다. 최근 진전에도 불구하고, 기존 학습 기반 방법들은 학습 및 테스트 시 정규화 과정에서 종종 정답 형상 스케일(GT-scale)에 대한 접근을 암묵적으로 전제하며, 실제 추론에서는 이용할 수 없는 특권 정보를 가정한다. 이 숨겨진 가정은 실용적 배포를 제한하며, 오라클 GT-scale 단서가 제거되면 과도한 보완·미달 보완, 중첩 셸(shell) 같은 심각한 보완 아티팩트를 초래할 수 있다. 우리는 최근의 파운데이션 이미지 생성 모델이 객체와 기하를 이해하고 다시점(multi-view) 일관된 렌더링을 생성하는 강한 능력을 보여 GT-scale 없이 3D 보완에 유망한 사전(prior)이 될 수 있음을 관찰한다. 이 통찰에 영감을 받아, 우리는 파운데이션 모델 기반 이미지 보완을 활용해 부분 입력으로부터 전역 스케일을 직접 복원한 뒤 3D 보완을 충실히 생성하는 새로운 프레임워크 ScaleBlind를 제안한다. 구체적으로 ScaleBlind는 렌더링된 부분 뷰로부터 완전한 다시점 외관을 생성(dream out)하고, 추론된 결손 영역을 3D로 되올려(lift) 기하 인식(geometry-aware) 거친 보완을 얻은 다음, 원본 부분 포인트 클라우드와 강력한 교차 모달(cross-modal) 융합 네트워크로 이를 정제한다. 2D 파운데이션 사전을 활용함으로써, 본 방법은 추론 시 GT-scale 정보 접근이 필요 없다. 또한 2D 생성 사전과 3D 포인트 클라우드 보완 사이의 원칙적 연결고리를 제공한다. 광범위한 실험은 프레임워크의 우수성을 보여 주며, ScaleBlind를 포인트 클라우드 보완 과제의 새로운 최신(state-of-the-art) 방법으로 만든다.
GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택
GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting
희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.
GAE: 3D 일관적 세계 생성을 위한 기하학 네이티브 잠재 공간 학습
GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.
UMI3D: Simultaneous Focus Cross-Attention 라우팅을 통한 비제약 다중 이미지 입력 기반 견고한 3D 생성
UMI3D: Robust 3D Generation on Unconstrained Multi-Image Inputs via Simultaneous Focus Cross-Attention Routing
최근 3D 파운데이션 모델은 단일 이미지로부터 고품질 에셋을 생성할 수 있지만, 비제약 다중 이미지 입력에서는 성능이 현저히 저하되며, 종종 왜곡된 geometry, 과도하게 평활화된 텍스처, 혼란스러운 색상을 생성한다. 우리는 이러한 실패가 제한된 모델 용량에서 비롯된 것이 아니라, 단일 이미지 교차 어텐션(cross-attention)과 다중 이미지 설정 간의 불일치에서 기인한다고 주장한다. 기존 모델은 각 디노이징 단계에서 각 3D voxel이 어떤 이미지를 신뢰해야 하는지 결정할 체계적인 방법이 부족하다. 최근 단일 이미지 3D 파운데이션 모델을 재검토한 결과, 각 voxel을 가장 정보가 풍부한 이미지로 명시적으로 라우팅하는 것만으로도 불일치하는 다중 이미지 입력에서 강력한 성능을 발휘할 수 있음을 보인다. 이 관찰에 기반하여, 우리는 비제약 다중 이미지 3D 생성을 위해 교차 어텐션을 재구성하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 UMI3D를 제안한다. 핵심인 Simultaneous Focus Cross-Attention(SFC-Attn)은 각 디노이징 단계에서 모든 조건화 이미지를 활성화하면서, 각 voxel이 자신을 가장 잘 설명하는 단일 이미지에 집중할 수 있게 한다. 이 라우팅을 가능하게 하기 위해, 외부 매칭, 세그멘테이션, 또는 correspondence 모델 없이 voxel-이미지 친화도를 측정하는 모델 내재적(model-intrinsic) 지표인 Voxel Reference Score(VRS)를 도출한다. 광범위한 실험을 통해 UMI3D가 다양한 작업에서 단일 이미지 3D 생성 프레임워크의 다중 이미지 잠재력을 발휘함을 보여준다. 프로젝트 페이지: UMI3D-Project.github.io.
Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.