arXiv:2610.02044v2 cs.CV

DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입

DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization

Tao Wu, Alexandra Gomez-Villa, Senmao Li, Yaxing Wang, Joost van de Weijer, Kai Wang

제출 2026-10-01

저자 비고

arXiv Comments

Accepted to NeurIPS 2026

한국어 초록

정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.

원문 초록

Recent advances in rectified flow-based image-to-3D generative models have enabled high-fidelity 3D asset generation. Building on this, a growing line of work has exploited these strong 3D priors for training-free stylization, transferring visual attributes from a reference image onto a generated 3D asset. However, existing methods enforce an all-or-nothing paradigm: color and texture are transferred jointly, with no mechanism to control them independently -- a limitation we formalize as Disentangled 3D Stylization(Disen3D). To address this, we propose DiDE, the first training-free framework for Disen3D. Key to our approach is the observation that the structured latent space of image-to-3D models is overcomplete with respect to texture: texture information occupies only a small subset of the style-significant channels, leaving a free subspace available for independent color encoding. DiDE exploits this via a channel partition mechanism that processes a content image, a texture reference, and a color reference through dedicated branches and composes both style signals interference-free at every self-attention layer, preserving content geometry throughout. Experiments on Disen3D-Bench, our newly collected multi-reference benchmark, show that DiDE consistently outperforms 2D and 3D stylization baselines in color fidelity, texture transfer, and content preservation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02044v2
  2. arXiv:2610.02044v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2512.03683v2cs.CV공통 태그 Style Transfer, 3d stylization

InStyle: 3D 형상의 즉각적인 외형 스타일화

InStyle: Instant Appearance Stylization of 3D Shapes

3D 스타일화는 게임 개발, 가상 현실, 디지털 아트에서 핵심적인 역할을 하며, 다양한 에셋에 대한 수요는 빠르고 고품질(high-fidelity)의 조작을 지원하는 확장 가능한 방법을 필요로 합니다. 기존의 텍스트 기반 3D(text-to-3D) 스타일화 방식은 일반적으로 2D 이미지 에디터로부터 증류(distillation)하는 방식을 취하므로, 에셋마다 많은 시간이 소요되는 최적화(per-asset optimization)가 필요하고 현재 텍스트 기반 이미지(text-to-image) 모델의 한계로 인해 다중 뷰 불일치(multi-view inconsistency)가 나타나 대규모 제작 환경에서는 비실용적입니다. 본 논문에서는 추론(inference) 시점에 즉각적으로 편집을 수행하는 텍스트 기반 3D 스타일화를 위한 선구적인 피드포워드(feed-forward) 프레임워크인 GaussianBlender를 소개합니다. 제안하는 방법은 공간적으로 그룹화된 3D 가우시안(3D Gaussians)으로부터 기하학적 구조(geometry)와 외형(appearance)에 대해 제어된 정보 공유를 갖는 구조화되고 분리된 잠재 공간(disentangled latent spaces)을 학습합니다. 그런 다음 잠재 확산 모델(latent diffusion model)이 학습된 표현에 텍스트 조건부 편집을 적용합니다. 포괄적인 평가 결과는 GaussianBlender가 즉각적이고 고품질이며 기하학적 구조를 보존하고 다중 뷰 일관성을 갖춘 스타일화를 제공할 뿐만 아니라, 인스턴스별 테스트 시점 최적화(test-time optimization)를 요구하는 방식들을 능가하여 대규모 환경에서 실용적이고 대중화된 3D 스타일화를 가능하게 함을 보여줍니다.

arXiv:2609.27615v1cs.AI공통 태그 Disentanglement, rectified flow

BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합

BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport

멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.

arXiv:2609.23817v1cs.CV공통 태그 Style Transfer, Disentanglement

VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성

VISTA: Video-Injected Stylized Text-to-Animation

본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.

arXiv:2607.24721v1cs.CV공통 태그 Style Transfer, Disentanglement

DreamStyle3D: 이중 어텐션 분리를 통한 효율적인 3D 스타일화 에셋 생성

DreamStyle3D: Efficient 3D Stylized Asset Generation via Dual-Attention Disentanglement

게이밍, 애니메이션, 가상현실(VR) 산업의 성장과 함께 스타일화된 3D 에셋의 효율적 생성에 대한 수요가 빠르게 증가하고 있다. 그러나 기존 접근법들은 대부분 간접적인 2D-to-3D 스타일화 파이프라인에 의존하고 있어, 스타일 충실도, 기하학적 일관성, 생성 효율성을 동시에 유지하는 데 여전히 어려움을 겪고 있다. 이는 효율성을 유지하면서 스타일과 기하학을 명시적으로 분리(disentangle)할 수 있는 네이티브 3D 스타일화 프레임워크의 필요성을 제기한다. 이를 위해, 우리는 Decoupled Dual Cross-Attention 메커니즘을 기반으로 구축된 스타일화 3D 에셋 생성을 위한 효율적인 프레임워크인 DreamStyle3D를 제안한다. 우리 방법은 구조적 일관성을 유지하면서 효율적인 스타일 주입을 가능하게 하기 위해 기하학적 특징과 스타일 특징을 명시적으로 분리하며, 또한 스타일 일관성과 모델 일반화를 향상시키기 위해 경량 학습 전�ategy를 채택한다. 또한, 우리는 자동화된 데이터 파이프라인을 구축하고 학습 및 평가를 위해 약 15K개의 콘텐츠-스타일-스타일화 삼중항(triplet) 데이터셋을 구성한다. 광범위한 실험을 통해, DreamStyle3D가 10초 이내에 고충실도의 기하학적으로 일관된 스타일화 3D 에셋을 생성할 수 있음을 보여주며, 우수한 스타일 품질을 유지하면서 효율성을 크게 향상시키고 3D 콘텐츠 제작을 위한 새로운 해결책을 제공한다. 코드와 데이터는 https://github.com/HVision-NKU/DreamStyle3D 에서 이용할 수 있다.

arXiv:2607.20924v1cs.CV공통 태그 Style Transfer, Disentanglement

MagicMakeup: 고충실도 메이크업 전이를 위한 영역 제어형 확산 트랜스포머

MagicMakeup: A Region-Controllable Diffusion Transformer for High-Fidelity Makeup-Transfer

메이크업 전이는 소스 얼굴의 정체성을 보존하면서 참조 메이크업을 소스 얼굴에 적용하는 작업이다. 확산 기반 방법을 통한 전체 얼굴 편집의 발전에도 불구하고, 강한 영역 제어성, 메이크업 충실도, 정체성 보존은 여전히 어려운 과제로 남아 있다. 그 이유는 (i) 픽셀-어텐션 불일치로 인해 비대상 영역으로의 번짐이 발생하고 영역 제어가 약화되는 것, (ii) 두 이미지 조건부 설정 하에서 전이/보존 개념 분리가 불명확하여 메이크업 속성과 정체성 간 결합이 발생하는 것, (iii) 정체성 일관성과 영역 라벨이 있는 고해상도 데이터셋이 부족하여 세밀한 감독이 어려운 것이다. 본 논문에서는 공간적 제약과 개념 분리에 기반하여, 영역 제어 가능하고 고충실도 메이크업 전이를 위한 확산 트랜스포머 기반 프레임워크인 MagicMakeup을 제안한다. 정체성을 보존하면서 정밀한 영역별 편집을 가능하게 하기 위해, 픽셀 마스크를 어텐션과 정렬하고 영역별 로짓 게이팅을 적용하는 Token-Aligned Region Gating을 제안한다. 전이와 보존 개념을 명확히 하기 위해, 텍스트와 이미지 특징을 정렬하여 교차 모달 개념 인식을 강화하는 Cross-Modal Perception Guidance를 추가로 도입한다. 또한 영역별 메이크업 제거를 통해 1024 x 1024 데이터 쌍을 생성하는 파이프라인을 설계하고, 합성 및 실제 설정에서 통합 벤치마크를 구축한다. 광범위한 정량적 및 정성적 실험 결과, MagicMakeup은 스타일, 인종, 포즈에 걸쳐 강한 견고성을 보이며 영역 제어성, 메이크업 충실도, 정체성 보존을 개선함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.