PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06903v1cs.CV

스켈레톤을 넘어서: Same2X 학습 전략으로 드라이빙 비디오에서 애니메이션을 직접 학습

Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy

인간 이미지 애니메이션(human image animation)은 정적 참조 이미지에서 드라이빙 비디오로부터 추출한 포즈 정보를 안내로 하여 비디오를 생성하는 것을 목표로 한다. 기존 접근법은 종종 포즈 추정기(pose estimator)에 의존하여 중간 표현을 추출하지만, 이러한 신호는 가려짐(occlusion)이나 복잡한 포즈에서 오류에 취약하다. 이러한 관찰에 기반하여, 우리는 포즈 추출을 우회하고 원시 드라이빙 비디오에서 직접 학습하는 프레임워크인 DirectAnimator를 제안한다. 우리는 모션, 표정, 정렬(alignment)을 의미론적으로 풍부하면서도 안정적인 형태로 포착하는 포즈, 얼굴, 위치 단서로 구성된 Driving Cue Triplet를 도입하고, 디노이징(denoising) 동안 신뢰할 수 있는 제어를 위해 CueFusion DiT 블록을 통해 이를 융합한다. 드라이빙과 참조의 신원(identity)이 다를 때 학습을 신뢰할 수 있게 하기 위해, 우리는 교차 ID(cross-ID) 특징을 동일 ID(same-ID) 데이터에서 학습된 특징과 정렬하여 최적화를 정규화하고 수렴을 가속하는 Same2X 학습 전략을 고안한다. 광범위한 실험은 DirectAnimator가 가려짐과 복잡한 관절 움직임(articulation)에도 견고하면서 최첨단(state-of-the-art) 시각적 품질과 신원 보존(identity preservation)을 달성하며, 더 적은 컴퓨팅 자원으로 이를 수행함을 보여준다. 프로젝트 페이지는 https://directanimator.github.io/ 에 있다.

arXiv:2606.06885v1cs.CV

FreeAnimate: 미리보기 안내 디노이징 기반 학습 불필요 인간 이미지 애니메이션

FreeAnimate: Training-Free Human Image Animation with Preview-Guided Denoising

인간 이미지 애니메이션은 주로 확산 모델(diffusion model)에 힘입어 크게 발전해 왔다. 그러나 기존 방법들은 고품질 결과를 달성하기 위해 일반적으로 상당한 학습(training) 데이터와 리소스를 요구하여, 일반화와 접근성을 제한한다. 본 연구에서는 이미지 확산 모델의 고유 능력을 활용하여 시간적 일관성, 정체성 보존, 배경 안정성을 달성하는 학습 불필요 프레임워크인 FreeAnimate를 제안한다. 우리 접근법은 생성된 미리보기 프레임에서 시간적·구조적 사전 정보(prior)를 제공하는 새로운 미리보기 생성 전략을 통합하여, 학습 없이도 포즈 정렬과 배경 일관성을 효과적으로 안내한다. 또한 FreeAnimate는 시간적 일관성과 정체성 보존을 보장하기 위해 Inversion-Boosted Attention과 Reference-Anchored Self-Attention 모듈을 도입한다. 실험 결과, FreeAnimate는 기존 학습 불필요 경쟁 방법과 학습 기반 기준선(baseline) 방법을 능가하며, 최신(state-of-the-art) 방법에 필적하는 생성 품질을 달성하고 다양한 데이터셋(dataset)에 걸쳐 강건한 일반화를 제공함을 보여준다. 프로젝트 페이지는 https://freeani.github.io/ 에 있다.