arXiv:2309.13607

MM-NeRF: Multimodal-Guided 3D Multi-Style Transfer of Neural Radiance Field

Zijiang Yang, Zhongwei Qiu, Chang Xu, Dongmei Fu

제출 2023-09-24

원문 초록

3D style transfer aims to generate stylized views of 3D scenes with specified styles, which requires high-quality generating and keeping multi-view consistency. Existing methods still suffer the challenges of high-quality stylization with texture details and stylization with multimodal guidance. In this paper, we reveal that the common training method of stylization with NeRF, which generates stylized multi-view supervision by 2D style transfer models, causes the same object in supervision to show various states (color tone, details, etc.) in different views, leading NeRF to tend to smooth the texture details, further resulting in low-quality rendering for 3D multi-style transfer. To tackle these problems, we propose a novel Multimodal-guided 3D Multi-style transfer of NeRF, termed MM-NeRF. First, MM-NeRF projects multimodal guidance into a unified space to keep the multimodal styles consistency and extracts multimodal features to guide the 3D stylization. Second, a novel multi-head learning scheme is proposed to relieve the difficulty of learning multi-style transfer, and a multi-view style consistent loss is proposed to track the inconsistency of multi-view supervision data. Finally, a novel incremental learning mechanism is proposed to generalize MM-NeRF to any new style with small costs. Extensive experiments on several real-world datasets show that MM-NeRF achieves high-quality 3D multi-style stylization with multimodal guidance, and keeps multi-view consistency and style consistency between multimodal guidance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10690v1cs.CV공통 태그 Incremental Learning, NeRF

3D 가우시안 삼각측량을 통한 점진적 온라인 장면 재구성

Incremental Online Scene Reconstruction by 3D Gaussian Triangulation

점진적 장면 재구성(incremental scene reconstruction)은 실세계 응용에 필수적이다. 3D 가우시안 스플래팅(3D Gaussian Splatting)이 강력한 잠재력을 보이고 있음에도 불구하고, 대부분의 기존 접근법은 명시적 메시 추출을 위해 최적화된 가우시안을 중간 암시적 필드로 오프라인 변환해야 하며, 이는 다운스트림 태스크와의 원활한 통합을 저해한다. 이러한 한계를 해결하기 위해, 우리는 밀집 기하학적 가우시안 표현을 직접 삼각측량하여 고충실도 명시적 메시를 점진적으로 재구성하고 업데이트하는 새로운 온라인 프레임워크를 제안한다. 이 프레임워크는 고품질 렌더링과 점진적 표면 재구성을 모두 지원한다. 또한, 가우시안 집합으로부터 메시를 효율적으로 추출하고 업데이트하는 직접 메싱 알고리즘을 제시한다. 메시 정확도를 보장하기 위해, 3D 가우시안 프리미티브를 근사된 로컬 표면에 동적으로 정렬하는 평면 기반 풀링 제약(plane-based pulling constraint)을 적용한다. 나아가, 완전히 최적화된 과거 영역을 동적으로 동결(freezing)함으로써 장시간 시퀀스 처리 중 메모리 및 연산 오버헤드를 크게 줄인다. 공개 데이터셋에 대한 실험을 통해, 우리 방법이 렌더링 품질과 재구성 정확도 모두에서 기존 가우시안 기반 방법들을 능가함을 입증한다.

arXiv:2506.11139v3eess.IV공통 태그 NeRF공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.