arXiv:2608.28219v1 cs.CV

RASA: 교차 정체성 캐릭터 애니메이션을 위한 분리된 공간-동작 사전 정보

RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation

Zhen Xiao, Zhen Shen, Zhaofan Qiu, Ting Yao, Xueliang Liu, Tao Mei

제출 2026-08-28

한국어 초록

교차 정체성 캐릭터 애니메이션(Cross-identity character animation)은 참조 이미지의 대상 정체성이 구동 비디오 속 원본 캐릭터의 동작을 따르도록 만드는 것을 목표로 한다. 핵심 과제는 두 가지 능력이 본질적으로 얽혀 있다는 점에 있다. 하나는 교차 정체성 공간 매핑(위치, 크기, 골격 비율의 정렬)이고, 다른 하나는 동작 제어(관절 움직임, 부피 일관성, 시점 일관성의 정교화)이다. 본 논문에서는 구조화된 사전 정보(prior)를 Diffusion Transformer(DiT)에 주입하여 공간 매핑과 동작 제어를 분리하는 프레임워크인 Reference-Aware Structural Alignment(RASA)를 제안한다. 본 접근법은 두 단계로 구성된다. 첫째, Spatial Prior Calibrator(SPC)는 참조 정체성과 구동 포즈를 융합하여 공간적으로 그라운딩된 초기 노이즈 잠재 변수(latent)를 생성하며, 이를 통해 구동 골격에 맞는 올바른 위치 지정, 크기 조정, 정렬을 보장한다. 둘째, Inherent Motional Guider(IMG)는 체형에 무관한(shape-agnostic) SMPL 관절 움직임 파라미터를 외형에 편향된 2D 키포인트를 넘어서는 의미론적 동작 벡터(semantic motion vector)로 인코딩한다. 이 벡터는 DiT의 중간 레이어에 주입되어 기본 포즈 조건을 보완하며, 해부학적으로 일관된 관절 움직임과 시점을 고려한 부피 정교화를 가능하게 한다. 평가를 위해 엄격한 선별 과정을 거친 고품질 벤치마크인 CIM-Bench를 구축하였다. 광범위한 실험을 통해 RASA가 동작 충실도와 시각적 품질 면에서 최신 기법들을 크게 능가함을 보인다. 본 연구는 분리된 공간 사전 정보와 동작 사전 정보가 견고한 캐릭터 애니메이션의 핵심임을 보여주는 새로운 패러다임을 제시한다. 프로젝트 페이지: https://hidream.ai.github.io/RASA/

원문 초록

Cross-identity character animation aims to drive a target identity from a reference image to follow the motion of a source character from a driving video. The core challenge lies in the inherent entanglement of two capabilities: cross-identity spatial mapping (aligning position, scale, and skeletal proportions) and motion control (refining joint articulation, volumetric consistency, and view coherence). We introduce Reference-Aware Structural Alignment (RASA), a framework that disentangles spatial mapping from motion control by injecting structured priors into a Diffusion Transformer (DiT). Our approach has two stages. First, a Spatial Prior Calibrator (SPC) fuses reference identity with driving pose to generate a spatially grounded initial noise latent, ensuring correct positioning, scaling, and alignment with the driving skeleton. Second, an Inherent Motional Guider (IMG) encodes shape-agnostic SMPL articulation parameters into a semantic motion vector beyond appearance-biased 2D keypoints. Injected into intermediate DiT layers, this vector complements the base pose condition for anatomically consistent articulation and view-aware volumetric refinement. We curate CIM-Bench, a high-quality benchmark with rigorous curation, for evaluation. Extensive experiments show RASA significantly outperforms state-of-the-art methods in motion fidelity and visual quality. Our work establishes a new paradigm showing disentangled spatial and motional priors are key to robust character animation. Project page: https://hidream.ai.github.io/RASA/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.28219v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.