arXiv:2512.03683v2 cs.CV

InStyle: 3D 형상의 즉각적인 외형 스타일화

InStyle: Instant Appearance Stylization of 3D Shapes

Melis Ocal, Xiaoyan Xing, Yue Li, Ngo Anh Vien, Sezer Karaoglu, Theo Gevers

제출 2025-12-03

한국어 초록

3D 스타일화는 게임 개발, 가상 현실, 디지털 아트에서 핵심적인 역할을 하며, 다양한 에셋에 대한 수요는 빠르고 고품질(high-fidelity)의 조작을 지원하는 확장 가능한 방법을 필요로 합니다. 기존의 텍스트 기반 3D(text-to-3D) 스타일화 방식은 일반적으로 2D 이미지 에디터로부터 증류(distillation)하는 방식을 취하므로, 에셋마다 많은 시간이 소요되는 최적화(per-asset optimization)가 필요하고 현재 텍스트 기반 이미지(text-to-image) 모델의 한계로 인해 다중 뷰 불일치(multi-view inconsistency)가 나타나 대규모 제작 환경에서는 비실용적입니다. 본 논문에서는 추론(inference) 시점에 즉각적으로 편집을 수행하는 텍스트 기반 3D 스타일화를 위한 선구적인 피드포워드(feed-forward) 프레임워크인 GaussianBlender를 소개합니다. 제안하는 방법은 공간적으로 그룹화된 3D 가우시안(3D Gaussians)으로부터 기하학적 구조(geometry)와 외형(appearance)에 대해 제어된 정보 공유를 갖는 구조화되고 분리된 잠재 공간(disentangled latent spaces)을 학습합니다. 그런 다음 잠재 확산 모델(latent diffusion model)이 학습된 표현에 텍스트 조건부 편집을 적용합니다. 포괄적인 평가 결과는 GaussianBlender가 즉각적이고 고품질이며 기하학적 구조를 보존하고 다중 뷰 일관성을 갖춘 스타일화를 제공할 뿐만 아니라, 인스턴스별 테스트 시점 최적화(test-time optimization)를 요구하는 방식들을 능가하여 대규모 환경에서 실용적이고 대중화된 3D 스타일화를 가능하게 함을 보여줍니다.

원문 초록

3D stylization is central to game development, virtual reality, and digital arts, where the demand for diverse assets calls for scalable methods that support fast, high-fidelity manipulation. Existing text-to-3D stylization methods typically distill from 2D image editors, requiring time-intensive per-asset optimization and exhibiting multi-view inconsistency due to the limitations of current text-to-image models, which makes them impractical for large-scale production. In this paper, we introduce GaussianBlender, a pioneering feed-forward framework for text-driven 3D stylization that performs edits instantly at inference. Our method learns structured, disentangled latent spaces with controlled information sharing for geometry and appearance from spatially-grouped 3D Gaussians. A latent diffusion model then applies text-conditioned edits on these learned representations. Comprehensive evaluations show that GaussianBlender not only delivers instant, high-fidelity, geometry-preserving, multi-view consistent stylization, but also surpasses methods that require per-instance test-time optimization - unlocking practical, democratized 3D stylization at scale.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.03683v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02044v2cs.CV공통 태그 Style Transfer, 3d stylization

DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입

DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization

정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.

arXiv:2602.04043v2cs.CV공통 태그 Style Transfer, gaussian splatting

AnyStyle: 3D Gaussian Splatting을 위한 단일 패스 멀티모달 스타일화

AnyStyle: Single-Pass Multimodal Stylization for 3D Gaussian Splatting

빠르고 확장 가능한 3D 에셋 생성에 대한 수요 증가로 피드포워드(feed-forward) 3D 재구성 방법에 대한 관심이 높아지고 있으며, 3D Gaussian Splatting(3DGS)이 효과적인 장면 표현(scene representation)으로 부상하고 있다. 최근 접근법들은 포즈 없는(unposed) 이미지 컬렉션으로부터 포즈 프리(pose-free) 재구성을 보여주었지만, 이러한 파이프라인에 스타일화 또는 외형(appearance) 제어를 통합하는 것은 아직 충분히 탐구되지 않았다. 기존 시도들은 대체로 이미지 기반 조건화(image-based conditioning)에 의존하여 제어 가능성(controllability)과 유연성(flexibility) 모두를 제한한다. 본 연구에서는 멀티모달 조건화(multimodal conditioning)를 통해 포즈 프리, 제로샷(zero-shot) 스타일화를 가능하게 하는 피드포워드 3D 재구성 및 스타일화 프레임워크인 AnyStyle을 제안한다. 우리 방법은 텍스트 및 시각적 스타일 입력을 모두 지원하여, 사용자가 자연어 설명 또는 참조 이미지를 사용해 장면 외형을 제어할 수 있게 한다. 우리는 최소한의 아키텍처 수정만 필요하고 기존 피드포워드 3D 재구성 백본에 통합할 수 있는 모듈형 스타일화 아키텍처를 제안한다. 실험 결과, AnyStyle은 고품질 기하학적 재구성을 유지하면서 기존 피드포워드 스타일화 방법 대비 스타일 제어 가능성을 향상시킴을 보여준다. 사용자 연구는 AnyStyle이 기존 최신(state-of-the-art) 접근법 대비 우수한 스타일화 품질을 달성함을 추가로 확인한다. Repository: https://github.com/joaxkal/AnyStyle.

arXiv:2606.24144v1cs.CV공통 태그 Style Transfer, gaussian splatting

3D 가우시안 스플래팅에서의 기하학 인식 스타일 전이

Geometry-Aware Style Transfer in 3D Gaussian Splatting

본 논문에서는 외형 속성과 기하학적 구조를 동시에 전이하는 3D 가우시안 스플래팅(3DGS)을 위한 새로운 기하학 인식 스타일 전이 프레임워크를 제안한다. 색상 기반 스타일화에 주로 집중하고 구조적 적응을 간과하는 기존 연구들과 달리, 본 방법은 색상 및 기하학 파라미터를 교대로 갱신하는 분리된 최적화 방식을 통해 기하학 적응을 명시적으로 통합한다. 이 전략은 색상과 기하학 갱신 간의 잠재적 간섭을 완화하여 안정적이고 일관된 장면 수준의 기하학 변환을 가능하게 한다. 분리된 최적화는 제안된 기하학 인식 대조적 특징(feature) 매칭(GCFM)에 의해 구현된다. GCFM은 RGB, 깊이, 에지 단서를 대조적 목적 함수에 통합하며, 스타일 이미지에서 가우시안 프리미티브로 구조적 특성을 효과적으로 전이하기 위해 두 최적화 단계 모두에 적용된다. 광범위한 실험을 통해 본 접근법이 정성적 충실도와 정량적 지표 모두에서 우수한 성능을 달성하며, 기존 3DGS 기반 스타일화 방법들을 크게 능가함을 보인다. 코드는 https://github.com/oweixx/gast 에서 확인할 수 있다.

arXiv:2606.07293v1cs.SD공통 태그 Style Transfer, latent diffusion

TargetSEC: 각성 조건부 잠재 스타일 디퓨전을 통한 플러그 앤드 플레이 실제 환경(In-the-Wild) 음성 감정 변환

TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Conversion via Arousal-Conditioned Latent Style Diffusion

음성 감정 변환(Speech Emotion Conversion, SEC)은 내용과 화자 정체성을 보존하면서 원본 발화의 감정을 목표 감정으로 변환하는 것을 목표로 합니다. 실제 환경(In-the-Wild) 데이터에 대한 SEC는 학습 데이터의 비병렬(non-parallel) 특성과 복잡한 실제 음향 환경으로 인해 어려운 과제입니다. 기존의 고정 길이(fixed-duration) 접근 방식은 감정을 효과적으로 변환하는 데 어려움을 겪거나(높은 품질, 낮은 변환율), 음성의 자연스러움을 저하시키는(낮은 품질, 높은 변환율) 문제가 있습니다. 본 연구에서는 화자 정체성과 연속적인 감정에 조건화된 감정 중심 스타일 임베딩을 생성하는 임베딩 기반 잠재 디퓨전 프레임워크인 TargetSEC를 제안합니다. 스펙트로그램(spectrogram) 위에서 확산(diffuse)하는 방법들과 달리, TargetSEC는 압축된 잠재 공간에서 작동합니다. MSP-Podcast 데이터셋에 대한 실험 결과, TargetSEC는 높은 음성 품질을 유지하면서 변환 정확도 면에서 현재의 비지속(non-duration) 기준 모델들을 능가하며, 명시적인 시간적 모델링 없이도 지속 시간 예측 시스템과 유사한 성능을 달성함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.