DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입
DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization
정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.