스켈레톤을 넘어서: Same2X 학습 전략으로 드라이빙 비디오에서 애니메이션을 직접 학습
Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy
인간 이미지 애니메이션(human image animation)은 정적 참조 이미지에서 드라이빙 비디오로부터 추출한 포즈 정보를 안내로 하여 비디오를 생성하는 것을 목표로 한다. 기존 접근법은 종종 포즈 추정기(pose estimator)에 의존하여 중간 표현을 추출하지만, 이러한 신호는 가려짐(occlusion)이나 복잡한 포즈에서 오류에 취약하다. 이러한 관찰에 기반하여, 우리는 포즈 추출을 우회하고 원시 드라이빙 비디오에서 직접 학습하는 프레임워크인 DirectAnimator를 제안한다. 우리는 모션, 표정, 정렬(alignment)을 의미론적으로 풍부하면서도 안정적인 형태로 포착하는 포즈, 얼굴, 위치 단서로 구성된 Driving Cue Triplet를 도입하고, 디노이징(denoising) 동안 신뢰할 수 있는 제어를 위해 CueFusion DiT 블록을 통해 이를 융합한다. 드라이빙과 참조의 신원(identity)이 다를 때 학습을 신뢰할 수 있게 하기 위해, 우리는 교차 ID(cross-ID) 특징을 동일 ID(same-ID) 데이터에서 학습된 특징과 정렬하여 최적화를 정규화하고 수렴을 가속하는 Same2X 학습 전략을 고안한다. 광범위한 실험은 DirectAnimator가 가려짐과 복잡한 관절 움직임(articulation)에도 견고하면서 최첨단(state-of-the-art) 시각적 품질과 신원 보존(identity preservation)을 달성하며, 더 적은 컴퓨팅 자원으로 이를 수행함을 보여준다. 프로젝트 페이지는 https://directanimator.github.io/ 에 있다.