arXiv:2404.05220

StylizedGS: Controllable Stylization for 3D Gaussian Splatting

Dingxi Zhang, Yu-Jie Yuan, Zhuoxun Chen, Fang-Lue Zhang, Zhenliang He, Shiguang Shan, Lin Gao

제출 2024-04-08

원문 초록

As XR technology continues to advance rapidly, 3D generation and editing are increasingly crucial. Among these, stylization plays a key role in enhancing the appearance of 3D models. By utilizing stylization, users can achieve consistent artistic effects in 3D editing using a single reference style image, making it a user-friendly editing method. However, recent NeRF-based 3D stylization methods encounter efficiency issues that impact the user experience, and their implicit nature limits their ability to accurately transfer geometric pattern styles. Additionally, the ability for artists to apply flexible control over stylized scenes is considered highly desirable to foster an environment conducive to creative exploration. To address the above issues, we introduce StylizedGS, an efficient 3D neural style transfer framework with adaptable control over perceptual factors based on 3D Gaussian Splatting (3DGS) representation. We propose a filter-based refinement to eliminate floaters that affect the stylization effects in the scene reconstruction process. The nearest neighbor-based style loss is introduced to achieve stylization by fine-tuning the geometry and color parameters of 3DGS, while a depth preservation loss with other regularizations is proposed to prevent the tampering of geometry content. Moreover, facilitated by specially designed losses, StylizedGS enables users to control color, stylized scale, and regions during the stylization to possess customization capabilities. Our method achieves high-quality stylization results characterized by faithful brushstrokes and geometric consistency with flexible controls. Extensive experiments across various scenes and styles demonstrate the effectiveness and efficiency of our method concerning both stylization quality and inference speed.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24721v1cs.CV공통 태그 Style Transfer, 3D Generation

DreamStyle3D: 이중 어텐션 분리를 통한 효율적인 3D 스타일화 에셋 생성

DreamStyle3D: Efficient 3D Stylized Asset Generation via Dual-Attention Disentanglement

게이밍, 애니메이션, 가상현실(VR) 산업의 성장과 함께 스타일화된 3D 에셋의 효율적 생성에 대한 수요가 빠르게 증가하고 있다. 그러나 기존 접근법들은 대부분 간접적인 2D-to-3D 스타일화 파이프라인에 의존하고 있어, 스타일 충실도, 기하학적 일관성, 생성 효율성을 동시에 유지하는 데 여전히 어려움을 겪고 있다. 이는 효율성을 유지하면서 스타일과 기하학을 명시적으로 분리(disentangle)할 수 있는 네이티브 3D 스타일화 프레임워크의 필요성을 제기한다. 이를 위해, 우리는 Decoupled Dual Cross-Attention 메커니즘을 기반으로 구축된 스타일화 3D 에셋 생성을 위한 효율적인 프레임워크인 DreamStyle3D를 제안한다. 우리 방법은 구조적 일관성을 유지하면서 효율적인 스타일 주입을 가능하게 하기 위해 기하학적 특징과 스타일 특징을 명시적으로 분리하며, 또한 스타일 일관성과 모델 일반화를 향상시키기 위해 경량 학습 전�ategy를 채택한다. 또한, 우리는 자동화된 데이터 파이프라인을 구축하고 학습 및 평가를 위해 약 15K개의 콘텐츠-스타일-스타일화 삼중항(triplet) 데이터셋을 구성한다. 광범위한 실험을 통해, DreamStyle3D가 10초 이내에 고충실도의 기하학적으로 일관된 스타일화 3D 에셋을 생성할 수 있음을 보여주며, 우수한 스타일 품질을 유지하면서 효율성을 크게 향상시키고 3D 콘텐츠 제작을 위한 새로운 해결책을 제공한다. 코드와 데이터는 https://github.com/HVision-NKU/DreamStyle3D 에서 이용할 수 있다.

arXiv:2607.11285v2cs.CV공통 태그 NeRF, 3DGS

SalientGS: 중요도 기반 MCMC 가우시안 할당을 통한 통합 SfM-to-3DGS 파이프라인

SalientGS: Unified SfM-to-3DGS with Importance-Guided MCMC Gaussian Allocation

비순서 이미지에서 3D 장면을 복원하는 작업은 고비용의 구조 복원(Structure-from-Motion, SfM) 전처리와 고정된 포즈 인터페이스로 인해 여전히 병목 현상이 발생한다. 우리는 통합 SfM-to-3D 가우시안 스플래팅(3DGS) 파이프라인인 SalientGS를 제안한다. 핵심 기여는 중요도 기반 마르코프 연쇄 몬테카를로(MCMC) 가우시안 할당으로, 다중 시점 잔차를 가우시안별 과소적합(underfit) 및 중복(redundancy) 신호로 집계한다. 이 신호들은 생성(birth)과 재배치(relocation) 모두를 과소적합 영역으로 편향시키는 매끄러운 중요도 가중 샘플링 분포를 정의한다. 이를 통해 기저의 확률적 그래디언트 랑주뱅 다이나믹스(SGLD)를 변경하지 않고, 잘 적합된 영역에서 용량을 재할당한다. SalientGS는 15분 이내에 최첨단 지각적 품질로 엔드투엔드 복원을 달성한다. 보충 자료에는 장면별 정성적 비교 및 이미지별 학습된 지각적 이미지 패치 유사도(Learned Perceptual Image Patch Similarity, LPIPS) 분석에 대한 전용 섹션이 포함되어 있으며, 실패 사례도 다룬다. 코드 및 평가 스크립트는 https://github.com/Six-Bit-TX/SalientGS에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.