Intrinsic PAPR: Tackling Misattribution in 3D Intrinsic Decomposition via Proximity Attention Point Rendering
원문 초록
Recent point-based intrinsic decomposition and inverse rendering methods have advanced the modelling of the shading and albedo of 3D scenes. However, we identify a fundamental limitation: these methods suffer from a misattribution issue, where individual primitives learn incorrect appearance features despite producing correct aggregated renderings. We show that the root cause lies in volume rendering, which aggregates translucent primitives along each ray and only supervises the final colour, preventing direct supervision of individual primitive features. To address this, we propose Intrinsic PAPR, a robust intrinsic decomposition framework which leverages Proximity Attention Point Rendering (PAPR) to enable direct per-point supervision. Unlike volume rendering approaches, PAPR eliminates translucent primitives and directly predicts appearance at ray-surface intersections, enabling accurate supervision to the feature of each individual point. Our method incorporates a 2D albedo prior adapted with conditional Implicit Maximum Likelihood Estimation (cIMLE) to handle monocular ambiguities, and employs a space carving loss to ensure multi-view consistency. Extensive evaluations on synthetic and real-world datasets demonstrate that Intrinsic PAPR outperforms point-based inverse rendering, NeRF-based intrinsic decomposition, and diffusion-based PBR methods in novel view synthesis and albedo estimation while resolving the misattribution issue.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2407.00500v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LSRM: 확장된 컨텍스트 윈도우를 통한 고충실도 객체 중심 3D 복원
LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows
우리는 트랜스포머 컨텍스트 윈도우 스케일링이 피드포워드 3D 복원에 미치는 영향을 연구하기 위해 Large Sparse Reconstruction Model(LSRM)을 소개한다. 최근 객체 중심 피드포워드 방법들은 견고하고 높은 품질의 복원을 생성하지만, 세밀한 텍스처와 외관 복원에 있어 여전히 밀집 뷰 최적화(dense-view optimization)에 뒤처진다. 우리는 활성 객체 토큰과 이미지 토큰 수를 대폭 늘려 컨텍스트 윈도우를 확장하면 이 격차가 줄어들어 고충실도 3D 객체 복원 및 역방향 렌더링(inverse rendering)이 가능해짐을 보인다. 효과적인 스케일링을 위해, 세 가지 핵심 기여를 통해 3D 복원에 네이티브 희소 어텐션을 적용한다: (1) 희소 고해상도 잔차를 예측하여 정보가 풍부한 영역에 연산을 집중하는 효율적인 coarse-to-fine 파이프라인; (2) 표준 어텐션 점수 대신 명시적 기하학적 거리를 사용하여 정확한 2D-3D 대응 관계를 확립하는 3D 인식 공간 라우팅 메커니즘; (3) GPU 전반에 걸쳐 동적이고 희소한 워크로드를 균형 있게 분배하기 위한 All-gather-KV 프로토콜을 포함한 커스텀 블록 인식 시퀀스 병렬 전략. 그 결과, LSRM은 기존 최첨단(SOTA) 방법 대비 20배 더 많은 객체 토큰과 2배 이상의 이미지 토큰을 처리한다. 표준 새로운 뷰 합성(novel-view synthesis) 벤치마크에 대한 광범위한 평가에서 현재 SOTA 대비 상당한 성능 향상을 보이며, PSNR은 2.4dB 이상 향상되고 LPIPS는 40% 이상 감소하였다. 나아가 LSRM을 역방향 렌더링으로 확장했을 때, 널리 사용되는 벤치마크에서의 정성적·정량적 평가 모두 텍스처 및 기하학적 세부 사항의 일관된 개선을 보여주며, SOTA 밀집 뷰 최적화 방법과 동등하거나 이를 초과하는 LPIPS를 달성하였다. 코드와 모델 가중치는 프로젝트 페이지에서 제공된다.
고품질 프리미티브 기반 신경 재구성을 위한 신경 조화 텍스처
Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction
3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 프리미티브 기반 방법은 최근 새로운 시점 합성(novel-view synthesis) 및 관련 재구성 태스크에서 최첨단 기술로 자리잡았다. 신경 필드(neural fields)와 비교하여 이러한 표현 방식은 더 유연하고 적응적이며 대규모 장면에 대한 확장성이 뛰어나다. 그러나 개별 프리미티브의 표현력 한계로 인해 고주파 세부 정보를 모델링하는 것이 어렵다. 본 논문에서는 신경 조화 텍스처(Neural Harmonic Textures)를 소개한다. 이는 각 프리미티브를 둘러싸는 가상 스캐폴드(scaffold)에 잠재 특징(feature) 벡터를 고정하는 신경 표현 접근법이다. 이러한 특징은 광선 교차점에서 프리미티브 내부에 보간된다. 푸리에 분석에서 영감을 받아 보간된 특징에 주기적 활성화 함수를 적용함으로써, 알파 블렌딩을 조화 성분의 가중 합산으로 변환한다. 결과 신호는 소규모 신경망(neural network)을 사용한 단일 지연 패스(deferred pass)에서 디코딩되어 계산 비용을 크게 줄인다. 신경 조화 텍스처는 실시간 새로운 시점 합성에서 최첨단 성능을 달성하는 동시에 프리미티브 기반 재구성과 신경 필드 기반 재구성 간의 격차를 줄인다. 본 방법은 3DGUT, Triangle Splatting, 2DGS 등 기존 프리미티브 기반 파이프라인에 원활하게 통합된다. 또한 2D 이미지 피팅 및 의미론적 재구성(semantic reconstruction)에 대한 응용을 통해 방법의 범용성을 추가로 입증한다.
다중 뷰 이미지에서 신경 재질 추출
Extracting Neural Materials from Multi-view Images
신경 재질은 압축적이고 범용적인 기저로 복잡한 정반사 반사와 산란 효과를 표현할 수 있다. 그러나 이러한 재질을 획득하고 작성하는 것은 여전히 어려운 일이다. 우리는 이미지에서 공간적으로 변하는 신경 재질을 추출하는 미분 가능 역렌더링 방법인 NeuMatEx를 제안한다. 신경 재질 잠재 공간의 비선형 구조는 단순한 역렌더링으로 최적화를 수행하는 것을 불가능하게 만든다. 이를 해결하기 위해, 우리는 이미지에서 초기 베이스 컬러, 신경 재질 잠재 변수, 알레아토릭 불확실성 가이드를 직접 예측하는 대규모 재질 재구성 모델(LMRM)을 학습한다. 이 재질 사전(prior)은 좋은 초기화를 제공하고 역 경로 추적을 이용한 후속 최적화를 더 잘 제약한다. 예측된 불확실성은 또한 높은 확신의 영역을 LMRM 예측에 더 강하게 고정하여, 조명과 복잡한 정반사 효과가 재질에 굳어지는 것을 방지한다는 점에서 추가로 도움이 된다. 합성 및 실제 에셋에 대한 실험은 NeuMatEx가 PBR 기반 방법보다 더 나은 시각 품질과 재질 분해를 통해 복잡한 재질을 추출함을 보여준다.
NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집
NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field
최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/
정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델
Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes
최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.