arXiv:2109.01847

Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering

Bangbang Yang, yinda zhang, Yinghao Xu, Yijin Li, Han Zhou, Hujun Bao, Guofeng Zhang, Zhaopeng Cui

제출 2021-09-04

원문 초록

Implicit neural rendering techniques have shown promising results for novel view synthesis. However, existing methods usually encode the entire scene as a whole, which is generally not aware of the object identity and limits the ability to the high-level editing tasks such as moving or adding furniture. In this paper, we present a novel neural scene rendering system, which learns an object-compositional neural radiance field and produces realistic rendering with editing capability for a clustered and real-world scene. Specifically, we design a novel two-pathway architecture, in which the scene branch encodes the scene geometry and appearance, and the object branch encodes each standalone object conditioned on learnable object activation codes. To survive the training in heavily cluttered scenes, we propose a scene-guided training strategy to solve the 3D space ambiguity in the occluded regions and learn sharp boundaries for each object. Extensive experiments demonstrate that our system not only achieves competitive performance for static scene novel-view synthesis, but also produces realistic rendering for object-level editing.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09225v1cs.CV공통 태그 Novel View Synthesis, Neural Rendering

Glob3R: 3D 기반 모델을 활용한 전역 Structure-from-Motion

Glob3R: Global Structure-from-Motion with 3D Foundation Models

VGGT와 같은 최근의 3D 기하학적 기반 모델(foundation model)은 입력 이미지로부터 카메라 포즈와 3D 장면 포인트를 직접 예측하는 견고한 피드포워드(feed-forward) 3D 재구성을 제공합니다. 그러나 이러한 모델의 결과는 여전히 부정확하며, 긴 시퀀스나 대규모 비정렬 이미지 집합으로 확장할 때 일반적으로 청크 단위 처리가 필요하여 드리프트(drift)와 불일치가 발생할 수 있습니다. 본 논문에서는 3D 기반 모델 위에 구축된 전역 SfM 방식의 재구성 방법인 Glob3R을 제안합니다. 핵심 아이디어는 피드포워드 기하학적 예측을 명시적으로 최적화하는 것입니다. 이를 위해 동결된 Pi3X 백본에 경량 밀집 매칭 헤드(dense matching head)를 추가하여 선택된 기준 프레임과 인접 뷰 사이의 이미지 와프(warp)를 예측합니다. 이 밀집 와프는 희소하지만 신뢰할 수 있는 다중 뷰 특징 트랙(feature track)으로 변환되어 전역 최적화를 위한 대응 제약 조건을 제공합니다. 또한 트랙과 상대 포즈를 중첩 윈도우 전반에 걸쳐 전파하는 키프레임 기반 슬라이딩 윈도우 연관 전략을 도입하여 확장 가능한 재구성을 가능하게 합니다. 마지막으로 전역 모션 평균화(motion averaging)와 번들 조정(bundle adjustment)을 수행하여 카메라 포즈를 정제하고, 스케일 불일치를 줄이며, 밀집 장면 기하구조를 복원합니다. 실내, 실외, 대규모 주행, 비정렬 SfM 벤치마크에 대한 광범위한 실험을 통해 Glob3R이 견고하고 정확한 재구성을 달성함을 입증합니다. 피드포워드 기반 모델 베이스라인과 최근의 확장 가능한 재구성 방법 대비 일관된 성능 향상을 보이며, 고전적인 SfM 파이프라인보다 더 강건합니다. 또한 정제된 포즈는 더 높은 품질의 뉴럴 렌더링(neural rendering)으로 이어지며, 이는 기반 모델 사전 지식과 전역 기하학적 최적화를 결합하는 이점을 검증합니다. 프로젝트 페이지: https://junyuandeng.github.io/Glob3r

arXiv:2606.26715v2cs.CV공통 태그 Novel View Synthesis, Neural Rendering

다중 뷰 이미지에서 신경 재질 추출

Extracting Neural Materials from Multi-view Images

신경 재질은 압축적이고 범용적인 기저로 복잡한 정반사 반사와 산란 효과를 표현할 수 있다. 그러나 이러한 재질을 획득하고 작성하는 것은 여전히 어려운 일이다. 우리는 이미지에서 공간적으로 변하는 신경 재질을 추출하는 미분 가능 역렌더링 방법인 NeuMatEx를 제안한다. 신경 재질 잠재 공간의 비선형 구조는 단순한 역렌더링으로 최적화를 수행하는 것을 불가능하게 만든다. 이를 해결하기 위해, 우리는 이미지에서 초기 베이스 컬러, 신경 재질 잠재 변수, 알레아토릭 불확실성 가이드를 직접 예측하는 대규모 재질 재구성 모델(LMRM)을 학습한다. 이 재질 사전(prior)은 좋은 초기화를 제공하고 역 경로 추적을 이용한 후속 최적화를 더 잘 제약한다. 예측된 불확실성은 또한 높은 확신의 영역을 LMRM 예측에 더 강하게 고정하여, 조명과 복잡한 정반사 효과가 재질에 굳어지는 것을 방지한다는 점에서 추가로 도움이 된다. 합성 및 실제 에셋에 대한 실험은 NeuMatEx가 PBR 기반 방법보다 더 나은 시각 품질과 재질 분해를 통해 복잡한 재질을 추출함을 보여준다.

arXiv:2606.19316v1cs.CV공통 태그 Novel View Synthesis, Neural Rendering

NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집

NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field

최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/

arXiv:2607.03875v2cs.CV공통 태그 Novel View Synthesis

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.14203v2cs.GR공통 태그 Novel View Synthesis

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.