PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02044v2cs.CV

DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입

DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization

정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.

arXiv:2512.03683v2cs.CV

InStyle: 3D 형상의 즉각적인 외형 스타일화

InStyle: Instant Appearance Stylization of 3D Shapes

3D 스타일화는 게임 개발, 가상 현실, 디지털 아트에서 핵심적인 역할을 하며, 다양한 에셋에 대한 수요는 빠르고 고품질(high-fidelity)의 조작을 지원하는 확장 가능한 방법을 필요로 합니다. 기존의 텍스트 기반 3D(text-to-3D) 스타일화 방식은 일반적으로 2D 이미지 에디터로부터 증류(distillation)하는 방식을 취하므로, 에셋마다 많은 시간이 소요되는 최적화(per-asset optimization)가 필요하고 현재 텍스트 기반 이미지(text-to-image) 모델의 한계로 인해 다중 뷰 불일치(multi-view inconsistency)가 나타나 대규모 제작 환경에서는 비실용적입니다. 본 논문에서는 추론(inference) 시점에 즉각적으로 편집을 수행하는 텍스트 기반 3D 스타일화를 위한 선구적인 피드포워드(feed-forward) 프레임워크인 GaussianBlender를 소개합니다. 제안하는 방법은 공간적으로 그룹화된 3D 가우시안(3D Gaussians)으로부터 기하학적 구조(geometry)와 외형(appearance)에 대해 제어된 정보 공유를 갖는 구조화되고 분리된 잠재 공간(disentangled latent spaces)을 학습합니다. 그런 다음 잠재 확산 모델(latent diffusion model)이 학습된 표현에 텍스트 조건부 편집을 적용합니다. 포괄적인 평가 결과는 GaussianBlender가 즉각적이고 고품질이며 기하학적 구조를 보존하고 다중 뷰 일관성을 갖춘 스타일화를 제공할 뿐만 아니라, 인스턴스별 테스트 시점 최적화(test-time optimization)를 요구하는 방식들을 능가하여 대규모 환경에서 실용적이고 대중화된 3D 스타일화를 가능하게 함을 보여줍니다.