arXiv:2605.06064v3 cs.CV

PersonaGesture: Single-Reference Co-Speech Gesture Personalization for Unseen Speakers

Xiangyue Zhang, Yiyi Cai, Kunhang Li, Kaixing Yang, You Zhou, Zhengqing Li, Xuangeng Chu, Jiaxu Zhang, Haiyang Liu

제출 2026-05-07

원문 초록

We propose PersonaGesture, a diffusion-based pipeline for single-reference co-speech gesture personalization of unseen speakers. Given target speech and one motion clip from a new speaker, the model must synthesize gestures that follow the new utterance while retaining speaker-specific pose choices, without per-speaker optimization. This setting is useful for avatars and virtual agents, but it is hard because the reference mixes stable speaker habits with utterance-specific trajectories. PersonaGesture consists of two key components, Adaptive Style Infusion (ASI) and Implicit Distribution Rectification (IDR), to separate temporal identity evidence from residual statistic correction. A Style Perceiver first encodes the variable-length reference into compact speaker-memory tokens. ASI injects these tokens into denoising through zero-initialized residual cross-attention, enabling style evidence to affect motion formation without replacing the pretrained speech-to-motion prior. Building on this, IDR applies a length-aware diagonal affine map in latent space to correct residual channel-wise moments estimated from the same reference. Across BEAT2 and ZeroEGGS, we evaluate quantitative metrics, reference-identity controls, same-audio diagnostics, qualitative comparisons, and human preference. Experiments show that separating denoising-time speaker memory from conservative post-generation moment correction improves unseen-speaker personalization over collapsed style codes, full-reference attention, and one-clip finetuning. Project: https://xiangyue-zhang.github.io/PersonaGesture.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.06064v3제출 시각 미확인
  2. arXiv:2605.06064v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23817v1cs.CV공통 태그 Denoising, Style Transfer, Disentanglement

VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성

VISTA: Video-Injected Stylized Text-to-Animation

본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.

arXiv:2610.02044v2cs.CV공통 태그 Style Transfer, Disentanglement

DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입

DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization

정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.

arXiv:2609.24215v1cs.CV공통 태그 Denoising, Disentanglement

감정 프롬프트를 넘어: Valence-Arousal-Dominance 기반 세밀한 텍스트-투-이미지 생성

Beyond Emotion Prompts: Fine-Grained Text-to-Image Generation Driven by Valence-Arousal-Dominance

텍스트-투-이미지 모델은 대상과 장면을 정확히 묘사할 수 있지만, 창작자는 내용 설명을 다시 쓰지 않고도 이미지가 전달해야 할 세밀한 감정을 지정하기 어렵다. 자연어로 감정을 암시할 수는 있으나, 의미가 안정적이고 강도가 서열화된 제어 척도를 제공하지 않는다. 우리는 EMOTRANS를 제안한다. 이는 심리학적으로 정립된 valence-arousal-dominance(VAD) 좌표를 내용 텍스트와 독립적인 생성 조건으로 변환하고, 디노이징(denoising) 단계 전반에 걸쳐 변조하여 감정적 스타일을 세밀하게 조절 가능한 창작 변수로 만든다. 이 목표를 위해 객관적 내용 설명과 여러 annotator가 별도로 수집한 감정 평가를 짝지은 예술 회화 데이터셋 EMOVAD를 구축한다. 또한 공유 모델을 이용한 이중 분기 학습(dual-branch training)으로 감정 표현과 내용 보존을 조율한다. 객관적 평가와 인간 평가는 이 프레임워크가 3차원 감정 제어의 정확도를 향상시키고, 경쟁력 있는 텍스트 정렬 및 이미지 품질을 유지하면서 지각 가능하고 서열화 가능한 연속적 변화를 만들어냄을 보여준다. 본 연구는 객관적 내용 묘사를 세밀한 감정 조절로 확장하는 실용적인 감정 기반 이미지 생성 접근법을 제공한다.

arXiv:2607.23958v1cs.CV공통 태그 Denoising, Disentanglement

RODR: 분리된 매니폴드 표현을 위한 리만 직교 분리 정규화

RODR: Riemannian Orthogonally Decoupled Regularization for Disentangled Manifold Representation

포인트 클라우드 노이즈 제거는 본질적으로 기하학적 복원 과제로, 노이즈가 있는 이산 ambient-space 샘플로부터 R^3에 임베드된 매끄러운 2차원 리만 매니폴드의 고유 구조를 재구성하는 것을 목표로 한다. 기하학적 표현 학습에서 현대의 매니폴드 인식 인코더와 생성적 수송(transport) 모델이 눈부신 진전을 이뤘음에도, 근본적인 목표-기하학 불일치는 여전히 충분히 탐구되지 않았다. 이론적으로, 우리는 이러한 불일치된 결합이 기하학적 그래디언트 간섭을 유발하며, 상충하는 최적화 목표가 구조적 열화와 포인트 군집화를 초래함을 확인했다. 우리는 법선(fitting) 성분과 접선(distribution) 성분을 분리함으로써 최적화 궤적을 재구성하는 리만 직교 분리 정규화(RODR)를 제안한다. 벡터-어텐션 및 엔트로피 인식 적응형 전략의 안내 하에, RODR은 샘플링 균일성을 유지하면서 고충실도 기하학적 세부를 효과적으로 보존한다. 실험 결과 RODR은 최신(state-of-the-art) 베이스라인에 필적하는 성능을 달성하며, 분포 규칙성의 개선과 국소적 응집의 효과적 감소를 시사한다. 본 연구는 포인트 클라우드 처리에서 분리된 기하학적 최적화를 위한 범용적이고 해석 가능한 프레임워크를 제시한다.

arXiv:2607.24721v1cs.CV공통 태그 Style Transfer, Disentanglement

DreamStyle3D: 이중 어텐션 분리를 통한 효율적인 3D 스타일화 에셋 생성

DreamStyle3D: Efficient 3D Stylized Asset Generation via Dual-Attention Disentanglement

게이밍, 애니메이션, 가상현실(VR) 산업의 성장과 함께 스타일화된 3D 에셋의 효율적 생성에 대한 수요가 빠르게 증가하고 있다. 그러나 기존 접근법들은 대부분 간접적인 2D-to-3D 스타일화 파이프라인에 의존하고 있어, 스타일 충실도, 기하학적 일관성, 생성 효율성을 동시에 유지하는 데 여전히 어려움을 겪고 있다. 이는 효율성을 유지하면서 스타일과 기하학을 명시적으로 분리(disentangle)할 수 있는 네이티브 3D 스타일화 프레임워크의 필요성을 제기한다. 이를 위해, 우리는 Decoupled Dual Cross-Attention 메커니즘을 기반으로 구축된 스타일화 3D 에셋 생성을 위한 효율적인 프레임워크인 DreamStyle3D를 제안한다. 우리 방법은 구조적 일관성을 유지하면서 효율적인 스타일 주입을 가능하게 하기 위해 기하학적 특징과 스타일 특징을 명시적으로 분리하며, 또한 스타일 일관성과 모델 일반화를 향상시키기 위해 경량 학습 전�ategy를 채택한다. 또한, 우리는 자동화된 데이터 파이프라인을 구축하고 학습 및 평가를 위해 약 15K개의 콘텐츠-스타일-스타일화 삼중항(triplet) 데이터셋을 구성한다. 광범위한 실험을 통해, DreamStyle3D가 10초 이내에 고충실도의 기하학적으로 일관된 스타일화 3D 에셋을 생성할 수 있음을 보여주며, 우수한 스타일 품질을 유지하면서 효율성을 크게 향상시키고 3D 콘텐츠 제작을 위한 새로운 해결책을 제공한다. 코드와 데이터는 https://github.com/HVision-NKU/DreamStyle3D 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.