arXiv:2409.15959

Semantics-Controlled Gaussian Splatting for Outdoor Scene Reconstruction and Rendering in Virtual Reality

Hannah Schieber, Jacob Young, Tobias Langlotz, Stefanie Zollmann, Daniel Roth

제출 2024-09-24

원문 초록

Advancements in 3D rendering like Gaussian Splatting (GS) allow novel view synthesis and real-time rendering in virtual reality (VR). However, GS-created 3D environments are often difficult to edit. For scene enhancement or to incorporate 3D assets, segmenting Gaussians by class is essential. Existing segmentation approaches are typically limited to certain types of scenes, e.g., ''circular'' scenes, to determine clear object boundaries. However, this method is ineffective when removing large objects in non-''circling'' scenes such as large outdoor scenes. We propose Semantics-Controlled GS (SCGS), a segmentation-driven GS approach, enabling the separation of large scene parts in uncontrolled, natural environments. SCGS allows scene editing and the extraction of scene parts for VR. Additionally, we introduce a challenging outdoor dataset, overcoming the ''circling'' setup. We outperform the state-of-the-art in visual quality on our dataset and in segmentation quality on the 3D-OVS dataset. We conducted an exploratory user study, comparing a 360-video, plain GS, and SCGS in VR with a fixed viewpoint. In our subsequent main study, users were allowed to move freely, evaluating plain GS and SCGS. Our main study results show that participants clearly prefer SCGS over plain GS. We overall present an innovative approach that surpasses the state-of-the-art both technically and in user experience.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19765v1cs.CV공통 태그 Segmentation, Novel View Synthesis

다중 뷰 팬옵틱 분할을 위한 대규모 뷰 합성 모델 확장

Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation

대규모 뷰 합성 모델은 명시적인 3D 표현 없이 교차 뷰 어텐션을 통해 새로운 뷰를 합성하며, 최근 연구들은 RGB 감독만으로도 정확한 공간 대응(spatial correspondence)을 학습한다는 것을 보여주었다. 우리는 이러한 대응이 외관(appearance)을 넘어 일반화된다는 것을 관찰한다. 이진 인코딩된 팬옵틱(panoptic) 레이블과 같은 비실사(non-photorealistic) 신호를 모델에 통과시키면, 일관된 공간 구조를 유지한 채 새로운 뷰로 전파된다. 이 결과는 RGB 뷰 합성을 위해 학습된 대응이 뷰 독립적인(view-independent) 픽셀 단위(per-pixel) 레이블도 전파할 수 있음을 시사한다. 이 관찰에 기반하여, 우리는 대규모 뷰 합성 모델을 외관 렌더링을 넘어 3D 장면 이해로 확장하는 최초의 연구를 제시한다. 우리는 3D 재구성이나 뷰 합성 모델에 대한 분할 특화 학습 없이, 동결(frozen)된 뷰 합성 모델을 재사용하여 입력 뷰의 팬옵틱 레이블을 새로운 뷰로 전파하는 팬옵틱 분할 파이프라인을 제안한다. 입력 뷰에 팬옵틱 레이블이 주어지면, 이를 이진 채널 표현으로 인코딩하고 동일한 모델에 통과시켜 타깃 뷰 분할을 렌더링한다. ScanNet에서 우리 방법은 명시적 3D 재구성을 필요로 하는 가우시안(Gaussian) 기반 접근법과 동등한 분할 품질을 달성하면서, 새로운 뷰 합성에서는 7 dB 이상 더 우수한 성능을 보인다. 레이블 전파는 데이터셋 간에도 전이되며, 미세조정 없이 Replica에서도 이러한 접근법들을 능가한다.

arXiv:2607.06560v1cs.CV공통 태그 Segmentation, Novel View Synthesis

통합 멀티모달 생성으로서의 비전

Vision as Unified Multimodal Generation

우리는 컴퓨터 비전을 통합 멀티모달 생성으로 정식화한다. 이 체계에서 이질적인 시각 태스크들은 태스크별 아키텍처 없이, 통합 멀티모달 모델의 기본 텍스트 및 이미지 생성 공간으로 표현된다. 이 정식화 하에서 SenseNova-Vision은 자연어 명령어와 선택적 시각 프롬프트를 사용하여 태스크, 목표 영역 또는 뷰, 디코딩 규약을 지정하고, 심볼릭 출력에 대해서는 텍스트로, 조밀한 공간 예측에 대해서는 이미지로, 합성 태스크에 대해서는 텍스트와 이미지가 혼합된 출력으로 응답을 생성한다. 대규모 학습을 지원하기 위해 다양한 컴퓨터 비전 어노테이션을 이러한 생성 공간과 호환되는 명령어-응답 예시로 변환하였으며, 그 결과 텍스트, 이미지, 혼합 타깃을 아우르는 컴퓨터 비전 명령어-응답 코퍼스인 SenseNova-Vision Corpus가 구축되었다. SenseNova-Vision은 사전학습된 통합 멀티모달 모델을 출발점으로 하여 주로 이 코퍼스로 학습되며, 능력 보존을 위한 보조 멀티모달 데이터를 혼합하여 사용하고, 태스크별 예측 헤드나 아키텍처 수정을 필요로 하지 않는다. 구축된 모델은 탐지(detection), OCR, 키포인트 추정(keypoint estimation), 분할(segmentation), 깊이 추정(depth estimation), 표면 법선 예측(surface normal prediction), 포인트 맵(point maps), 카메라 포즈 추정(camera pose estimation)을 포함한 광범위한 시각 태스크를 다루며, 카테고리, 색상, 영역 및 기타 시각적 단서를 결합한 언어 정의 변형도 지원한다. 실험 결과, 단일 통합 모델이 구조적 시각 이해, 조밀한 기하학적 예측, 분할, 다시점 시각 기하학 전반에 걸쳐 선도적인 태스크 특화 시스템과 동등한 성능을 달성할 수 있음을 보인다. 이러한 결과는 통합 멀티모달 생성이 컴퓨터 비전 능력을 범용 파운데이션 모델에 통합하는 확장 가능한 경로임을 시사한다. 모델과 코퍼스는 공개되어 있다.

arXiv:2607.03875v2cs.CV공통 태그 Novel View Synthesis

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.14203v2cs.GR공통 태그 Novel View Synthesis

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2610.15807v1cs.CV공통 태그 Novel View Synthesis

Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리

Totem: Object-Centric 3D Memory for World-Consistent Video Generation

통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.