arXiv:2410.11285

Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting

Yuanbo Chen, Chengyu Zhang, Jason Wang, Xuefan Gao, Avideh Zakhor

제출 2024-10-15

원문 초록

Scene reconstruction and novel-view synthesis for large, complex, multi-story, indoor scenes is a challenging and time-consuming task. Prior methods have utilized drones for data capture and radiance fields for scene reconstruction, both of which present certain challenges. First, in order to capture diverse viewpoints with the drone's front-facing camera, some approaches fly the drone in an unstable zig-zag fashion, which hinders drone-piloting and generates motion blur in the captured data. Secondly, most radiance field methods do not easily scale to arbitrarily large number of images. This paper proposes an efficient and scalable pipeline for indoor novel-view synthesis from drone-captured 360 videos using 3D Gaussian Splatting. 360 cameras capture a wide set of viewpoints, allowing for comprehensive scene capture under a simple straightforward drone trajectory. To scale our method to large scenes, we devise a divide-and-conquer strategy to automatically split the scene into smaller blocks that can be reconstructed individually and in parallel. We also propose a coarse-to-fine alignment strategy to seamlessly match these blocks together to compose the entire scene. Our experiments demonstrate marked improvement in both reconstruction quality, i.e. PSNR and SSIM, and computation time compared to prior approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03494v1cs.CV공통 태그 SSIM, Novel View Synthesis

표준화된 라이트 필드 화질 평가를 향하여: 하이브리드 주관적 벤치마킹 및 객관적 메트릭 평가

Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation

몰입형 미디어 코딩 솔루션의 벤치마킹, 특히 표준화 맥락에서는 신뢰할 수 있고 재현 가능한 주관적 화질 평가(QA) 절차와 함께 다양한 왜곡 유형에 걸쳐 정확성을 유지하는 객관적 화질 메트릭이 필요하다. 본 논문은 JPEG Pleno 표준화 활동의 맥락에서 개발 및 배포된 라이트 필드 QA를 위한 표준화된 워크플로우를 제시하며, 이는 벤치마크 생성, 하이브리드 주관적 평가, 객관적 메트릭 분석을 공통 워크플로우로 통합한다. 해당 벤치마크는 전통적인 코딩 전용 아티팩트뿐만 아니라 라이트 필드 인코딩이 뷰 합성 및 재구성 기법과 함께 수반되는 처리 파이프라인에서 발생하는 왜곡도 포괄하도록 설계되었다. 참조 기준 화질 평가와 지각적으로 모호한 영역에서의 목표 지향적 쌍별 정제를 결합함으로써 세밀한 평가를 가능하게 하는 하이브리드 주관적 방법이 제안된다. 주관적 점수의 신뢰성은 두 집단 관찰자 간의 통계적 일관성 분석을 통해 검증된다. 마지막으로, 대규모 객관적 메트릭 집합이 전역 예측 정확도, 모호한 화질 영역에서의 국소적 일치도, 왜곡 유형별 강건성 측면에서 체계적으로 평가된다. 결과에 따르면 여러 메트릭이 코딩 전용 자극에 대해 높은 일치도를 달성하지만, 뷰 합성 왜곡이 포함될 경우 성능이 일관되게 저하된다. 해당 분석은 또한 향후 라이트 필드 화질 메트릭 설계에서 뷰 풀링(pooling) 전략의 중요성을 강조한다. 본 연구는 세밀한 라이트 필드 QA를 위한 재현 가능하고 표준화 준비가 된 프레임워크를 제공하는 동시에, 새로운 코딩 파이프라인 하에서 현재 객관적 메트릭의 핵심 한계를 식별한다. 주관적으로 주석이 달린 데이터셋은 https://plenodb.jpeg.org/lfqa/objectivecfp 에서 공개적으로 이용 가능하다.

arXiv:2606.21244v1cs.CV공통 태그 SSIM, Novel View Synthesis

ACE-GS: 정확하고 압축적이며 효율적인 3D Gaussian Splatting으로 트레이드오프 극복

ACE-GS: Acing the Trade-off with Accurate, Compact and Efficient 3D Gaussian Splatting

3D Gaussian Splatting은 탁월한 실시간 렌더링을 달성하지만, 상당한 연산 및 저장 요구량이 광범위한 배포를 저해한다. 기존 가속 패러다임은 빠른 수렴을 위해 primitive를 공격적으로 가지치기하는 경우가 많아 고주파 세부 정보의 심각한 손실을 초래한다. 이를 해결하기 위해, 우리는 탁월한 렌더링 품질과 초고속 재구성 속도를 동시에 달성하는 근본적 문제에 착수한다. 본 논문에서는 정확하고 압축적이며 효율적인 장면 표현을 위해 설계된 점진적 최적화 프레임워크인 ACE-GS를 제안한다. 정밀한 primitive 관리가 이 트레이드오프를 깨는 핵심임을 확인한다. 따라서 우리는 먼저 모멘텀 일관성 기반 densification 전략을 설계하여, primitive 성장을 실제 기하 매니폴드 위로 엄격히 제한함으로써 연산 낭비를 피하면서 수렴을 크게 가속한다. 이 효율적인 초기화를 기반으로, 통계적 민감도 기반 sparsification 메커니즘을 도입하여 중복 primitive를 정밀하게 가지치기하고 더욱 압축된 풋프린트를 달성한다. 마지막으로, 앞서 언급한 엄격한 primitive 제어로 인한 미세 구조 손실 위험을 충분히 보상하기 위해, 고주파 오류 에너지를 primitive 속성에 명시적으로 재주입하는 교차 차원 잔차 주파수 보상 방식을 도입하여 선명한 기하 세부를 완벽하게 복원한다. 광범위한 실험을 통해 우수성을 검증한다. 매우 압축적인 장면 표현을 유지하면서, 우리 시스템은 고속 프레임워크 Speedy-Splat 대비 최대 3.7배의 학습 가속을 달성한다. 수렴에 3~5분만 필요한 ACE-GS는 최고 수준의 구조적 유사도를 확보하고, 원본 3DGS 대비 PSNR이 최대 0.89 dB 향상되는 정점 성능을 달성하여, 초고속·고충실도 신규 시점 합성(novel view synthesis)의 새로운 벤치마크를 제시한다.

arXiv:2607.03875v2cs.CV공통 태그 Novel View Synthesis

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.14203v2cs.GR공통 태그 Novel View Synthesis

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2606.12635v2cs.CV공통 태그 Novel View Synthesis

CD-RCM: 반사 공초점 현미경을 위한 일반화 가능한 연속 깊이 새로운 뷰 합성

CD-RCM: Generalizable Continuous-Depth Novel View Synthesis for Reflectance Confocal Microscopy

반사 공초점 현미경(RCM)은 연속적인 깊이에서 정면(en-face) 영상을 획득하여 희소한 z-스택을 형성함으로써 생체 내 인간 피부의 비침습적 세포 해상도 "광학 생검"을 제공한다. 광학적 한계로 인해 이러한 스택은 이방성 3D 볼륨이며, 측면 해상도(0.5 $\mu$m)가 광학 절편(3 $\mu$m)으로 정의되는 축 방향 해상도보다 약 6배 높아 조직 해석이 제한된다. 우리의 목표는 중간 단면을 보간하고 3D 볼륨을 등방성으로 만들어 연속 깊이 시각화를 제공하는 것이다. 이러한 표현은 환자별 최적화 없이도 조직병리와 유사한 단면 검사를 포함한 임의 방향 절단을 가능하게 한다. 이를 위해 희소하게 샘플링된 RCM 스택으로부터 현실적인 미관측 깊이를 예측하는 피드포워드 모델로서 최초의 RCM 특화 새로운 시점 합성(NVS) 접근법인 CD-RCM을 제안한다. 고전적인 신경 렌더링 기법은 표면 수준의 다중 시점 관측으로부터의 복원에 초점을 둔다. 표면 수준의 카메라 시점과 달리 RCM은 표면 아래 최대 200 $\mu$m까지 조직의 광학 절편 정면 영상을 획득할 수 있다. 그러나 RCM 스택을 시각화할 때 (표면에 가까운) 얕은 단면의 관측이 더 깊은 단면을 가린다. 이러한 고유한 축 방향 영상 기하와 층에 따른 해부학적 조직 특성은 RCM의 깊이 분해적이고 가림이 있는 영상 물리를 명시적으로 고려하는 맞춤형 구조 및 학습 프레임워크를 개발하는 동기가 되었다. 실험을 통해 CD-RCM이 1초 미만의 추론 시간으로 높은 충실도의 새로운 시점 합성을 달성함을 보인다.

arXiv:2606.17310v2cs.CV공통 태그 Novel View Synthesis

SierpinskiCam: 시에르핀스키 삼각형 패턴 단서를 활용한 카메라 제어 비디오 리테이킹

SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues

단안 비디오에서 사용자 정의 카메라 궤적을 따라 장면의 새로운 렌더링을 생성하는 것은 비디오 리테이킹(video retaking)이라 불리며, 콘텐츠 제작 및 시각 효과에서 매력적이지만 어려운 문제입니다. 기존의 기하학 기반 접근법은 원본 비디오에서 4D 표현을 재구성하고 목표 궤적을 따라 렌더링하여 비디오 디퓨전 모델을 조건화합니다. 그러나 이 가이던스는 목표 카메라가 원본 궤적에서 멀어질수록 저하되어, 새롭게 드러난 영역이 희소하거나 완전히 누락되는 결과를 낳습니다. 우리는 이러한 제한을 해결하기 위해 SierpinskiCam을 제안합니다. SierpinskiCam은 큰 시점 변화에서도 추적 가능한 풍부한 특징을 포함하는 시에르핀스키 돔 텍스처 단서로 기하학 기반 가이던스를 보강합니다. 또한, 우리는 원본 비디오 토큰을 목표 토큰 시퀀스에 추가하고 음의 RoPE 인덱스로 두 스트림을 분리하는 참조 비디오 조건화 메커니즘을 도입하여, 아키텍처 수정이나 비디오별 적응 없이 외관 그라운딩(appearance grounding)을 가능하게 합니다. 광범위한 실험을 통해 SierpinskiCam이 다양하고 도전적인 리테이킹 시나리오에서 카메라 제어 가능성, 기하학적 일관성, 비디오 품질 면에서 상당한 향상을 달성함을 보여줍니다. 프로젝트 페이지: https://hyelinnam.github.io/SierpinskiCam/.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.