arXiv:2610.01914v1 cs.CV

DecomVoxel: 분해 기반 장면 재구성을 위한 유도형 제자리 노이즈 제거 최적화 기반 3D 네이티브 사전 확률 활용

DecomVoxel: Harnessing 3D-Native Priors with Guided In-situ Denoising Optimization for Decompositional Scene Reconstruction

Junfeng Ni, Zirui Zhou, Yixin Chen, Yu Liu, Nan Jiang, Zhifei Yang, Song-Chun Zhu, Siyuan Huang

제출 2026-10-01

저자 비고

arXiv Comments

SIGGRAPH Asia 2026 - Journal Track (TOG). Project page: https://decomvoxel.github.io/DecomVoxel-Webpage/

한국어 초록

분해 기반 장면 재구성(decompositional scene reconstruction)은 고품질의 객체와 배경을 재구성하는 것을 목표로 하지만, 기존 방법들은 심한 가림(occlusion) 상황에서 충분한 품질을 확보하는 데 여전히 어려움을 겪고 있습니다. 생성형 사전 확률(generative prior)이 잠재적인 해결책을 제시하지만, 2D 이미지 기반 사전 확률은 3D 인식 부족으로 인해 다중 뷰 불일치(multi-view inconsistency) 문제를 자주 겪습니다. 반대로 3D 네이티브 사전 확률은 더 강력한 구조적 귀납 편향(inductive bias)을 제공하지만 복잡한 장면 내에서 공간적 드리프트(spatial drift)와 정렬 불량을 빈번하게 유발합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 객체 완성을 3D 네이티브 사전 확률과 신경망 장면 재구성을 연결하는 유도형 제자리 노이즈 제거 최적화(guided in-situ denoising optimization)로 공식화한 DecomVoxel을 제안합니다. 제안하는 프레임워크는 안정적인 잠재 공간 개선(latent refinement)을 보장하기 위해 재구성된 엡실론(epsilon) 기반 증류 손실(distillation loss)을 도입하고, 시간적 어닐링(temporal annealing)과 함께 점유 및 비어 있는 앵커(occupied and vacant anchors)를 활용하는 적응형 공간 가이던스를 통해 생성형 환각(hallucination)을 억제하고 공간적 드리프트를 완화합니다. Replica 및 ScanNet++ 데이터셋에 대한 실험 결과, DecomVoxel은 원래의 공간 배치, 구조적 충실도 및 스타일 일관적인 텍스처를 충실히 보존하면서 기존 SOTA(state-of-the-art) 방법들을 크게 능가하는 것으로 나타났습니다. 본 방법은 깔끔한 위상(topology), 기하학적 구조 및 외형을 갖춘 고품질 텍스처 메시를 제공함으로써 분해 기반 재구성의 한계를 넓히고, 복잡한 실제 환경 장면에 대한 분해 재구성을 위한 강력한 솔루션을 제공합니다. 코드는 https://github.com/DecomVoxel/DecomVoxel 에서 확인할 수 있습니다.

원문 초록

Decompositional scene reconstruction aims to reconstruct high-quality objects and background, yet existing methods still struggle with the level of quality under heavy occlusions. While generative priors offer a potential solution, 2D image-based priors often suffer from multi-view inconsistency due to a lack of 3D awareness. Conversely, 3D-native priors provide stronger structural inductive biases but frequently lead to spatial drift and misalignment within complex scenes. To address these issues, we propose DecomVoxel, formulating object completion as a guided in-situ denoising optimization that bridges 3D-native priors with neural scene reconstruction. Our framework introduces a reformulated epsilon-based distillation loss to ensure stable latent refinement, alongside adaptive spatial guidance that utilizes occupied and vacant anchors with temporal annealing to suppress generative hallucinations and mitigate spatial drift. Experiments on Replica and ScanNet++ show that DecomVoxel significantly outperforms state-of-the-art methods while faithfully preserving the original spatial layout, structural fidelity, and style-consistent texture. Our method pushes the boundary of decompositional reconstruction by delivering high-quality textured meshes with clean topology, geometry, and appearance, providing a robust solution for the decompositional reconstruction of complex real-world scenes. Code is available at https://github.com/DecomVoxel/DecomVoxel.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01914v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24984v1cs.CV공통 태그 Denoising, 3D Reconstruction, Scene Understanding, Novel View Synthesis

WorldCrafter: 암시적 3D 인식 메모리를 갖춘 일관된 비디오 월드 모델

WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

비디오 월드 모델(video world model)은 동적 환경의 인터랙티브한 탐험을 가능하게 하지만, 긴 지평(long horizon)과 다양한 시점에 걸쳐 이전 관측 결과를 온전히 반영하는 데 어려움을 겪습니다. 본 논문에서는 이를 위해 카메라로 쿼리 가능한 암시적 3D 인식 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제시합니다. 핵심 통찰은 요청된 시점이 비디오 생성기의 제한된 토큰 예산 내에서 다중 뷰 단서가 압축되는 방식을 결정하도록 하는 것입니다. 비디오 생성기와 공동으로 학습되는 메모리 인코더 및 포즈 조건부 판독(readout) 모듈은 명시적인 깊이 기반 대응점 없이도 디노이징 전에 이전 관측값들을 고정된 수의 목표 시점 특화 토큰 세트로 통합합니다. 이 메모리를 최근 시간적 컨텍스트 및 소수 단계 지식 증류(few-step distillation)와 결합함으로써, WorldCrafter는 단일 입력 이미지 또는 텍스트 프롬프트로부터 스트리밍 장면 탐험을 가능하게 합니다. 정적 및 동적 장면에 걸친 실험 결과, 분 단위 탐험 중에도 시각적 품질을 유지하면서 긴 지평의 일관성과 카메라 제어 정확도 측면에서 상당한 성능 향상을 입증합니다.

arXiv:2609.28061v1cs.CV공통 태그 3D Reconstruction, Scene Understanding, Novel View Synthesis

AstraLOD3: LOD3 건물 모델의 제로샷 다중 모달 에이전트 기반 재구성

AstraLOD3: Zero-shot multimodal agentic reconstruction of LOD3 building models

자동화된 LOD3 건물 모델링은 일반적으로 목적에 맞게 설계된 기하학적 또는 학습 기반 파이프라인에 의존하여, 이질적인 건물과 입력 증거 조건 전반에서의 유연성을 제한한다. 본 연구는 범용 다중 모달 파운데이션 모델 Astra가 제한된 자율성 하의 에이전트 프레임워크 안에서 LOD3 건물 모델을 제로샷으로 재구성함으로써 이러한 한계를 극복할 수 있는지 조사한다. AstraLOD3는 다중 시점 이미지, 보정된 카메라, 필터링된 희소 SfM 포인트 클라우드를 자연어 재구성 명세와 결합하며, Astra 에이전트는 Python과 Blender를 사용해 계산 절차를 동적으로 선택하고 실행한다. 24개 벤치마크 건물을 포함한 35회 실행에서 AstraLOD3는 평균 FRDS 0.9647을 달성했으며, 기하학적 일치도는 이전의 목적 특화 방법과 유사한 수준이었다. 통제된 ablation은 재구성 가이던스, 증거 모달리티, 모델 구성, 실행 간 변동성의 영향을 추가로 밝혔다. 결과는 구조화된 LOD3 재구성이 고정된 파이프라인이 아니라 제약된 에이전트 과정으로 공식화될 수 있음을 보여준다. 향후 연구에서는 적응적 정제, 사용자 주도 수정, 과제 특화 전문화, 손상 인식 재구성을 탐구할 예정이다.

arXiv:2609.24253v1cs.RO공통 태그 3D Reconstruction, Scene Understanding, Novel View Synthesis

OpenFlyScan: 소비자용 드론을 위한 품질 가이드 항공 재구성 시스템

OpenFlyScan: A Quality-Guided Aerial Reconstruction System for Consumer Drones

3D Gaussian Splatting(3DGS)은 대규모 체화(embodied) 시뮬레이션을 위한 고충실도 장면을 제공하지만, 대규모 도시 자산 구축은 고가 장비와 지연된 품질 피드백 때문에 여전히 제약을 받는다. 사전 설정된 촬영(survey)은 복잡한 표면을 충분히 관측하지 못하게 할 수 있으며, 결함은 재구성 이후에야 발견되어 재방문과 반복 처리가 필요하다. 우리는 GS 품질 모델, 재촬영(reacquisition) 계획기, 맞춤 설계 모바일 앱을 통합한 소비자용 드론용 품질 가이드 항공 재구성 시스템 OpenFlyScan을 제시한다. 해당 모델은 GS 렌더링 오류로부터 학습하여 지역별 재구성 품질을 예측한다. 이러한 예측을 바탕으로 계획기는 앱을 통해 실행할 보완적 재촬영 스트립(strip)을 생성하며, 앱은 추가 온보드 하드웨어 없이 자동화된 사시(oblique) 촬영과 데이터 전송도 지원한다. 실제 항공 장면에서 모델은 재구성이 잘 되지 않을 가능성이 큰 영역을 효과적으로 식별한다. Expo West 현장 실험에서 표적 재촬영은 추가 시점(additional views)에서 PSNR을 10.95 dB 향상시켰다. 소비자용 드론과 함께 OpenFlyScan은 촬영, 표적 재촬영, 재구성을 통합하여 신속하고 저비용의 도시 자산 생성을 지원한다. 코드와 모델은 https://openflyscan.github.io/ 에서 공개될 예정이다.

arXiv:2609.24531v1cs.CV공통 태그 3D Reconstruction, Scene Understanding, Novel View Synthesis

동적 열화상 가우시안: 멀티모달 4D 가우시안 스플래팅

Dynamic Thermal Gaussians: Multimodal 4D Gaussian Splatting

열화상(thermography)은 군사 및 보다 폭넓은 열 분석(thermal analysis) 응용 분야에서 중요한 역할을 한다. 최근 3D 열 재구성(3D thermal reconstruction) 분야의 발전으로 온도 분석이 2D에서 3D 공간으로 확장되었지만, 기존 연구 대부분은 정적인 온도 분포를 가정하여 실제 환경에서 발생하는 열 전달의 시간적 동역학을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 복잡한 장면을 위한 최초의 동적 RGB-열화상(RGB-Thermal) 재구성 프레임워크를 제안한다. 우리의 방법은 RGB 외형(appearance), 열화상 관측값, 그리고 장면 기하 구조(geometry)가 시간에 따라 변화하는 양상을 공동으로 모델링한다. 구체적으로, 우리는 색상(color)과 열화상 모달리티(modality)를 공유된 기하학적 기반(shared geometric substrate)에 고정하여 시공간적 변형(spatiotemporal deformation) 하에서도 두 모달리티 간 일관성을 보장하는 멀티모달 동적 장면 표현(multimodal dynamic scene representation)을 도입한다. 또한 각 모달리티의 움직임 표현력(motion expressiveness)을 향상시키기 위해 멀티모달 임베딩(multimodal embedding)을 설계하고, 기하학적 백본(geometric backbone)으로서 통합된 공유 멀티모달 가우시안(multimodal Gaussian) 집합을 유지하면서도 각 개별 모달리티의 디테일이 풍부한 영역에서 표현 능력을 강화하기 위해 모달리티별 가우시안을 적응적으로 생성하는 멀티모달 라우팅 메커니즘(multimodal routing mechanism)을 제안한다. 이에 더해, 4D 재구성 평가를 용이하게 하기 위해 고빈도 온도 변화를 특징으로 하는 새로운 벤치마크 데이터셋을 제공한다. 광범위한 실험을 통해 우리의 방법이 외형과 온도 모두에 대해 높은 충실도의 시공간적 재구성을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/LinLif1869/DTG 에서 확인할 수 있다.

arXiv:2609.24825v1cs.CV공통 태그 Denoising, 3D Reconstruction, Scene Understanding

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Scene Understanding

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.