arXiv:2102.13329

Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis

Fu-En Yang, Jing-Cheng Chang, Yuan-Hao Lee, Yu-Chiang Frank Wang

제출 2021-02-26

원문 초록

Generating videos with content and motion variations is a challenging task in computer vision. While the recent development of GAN allows video generation from latent representations, it is not easy to produce videos with particular content of motion patterns of interest. In this paper, we propose Dual Motion Transfer GAN (Dual-MTGAN), which takes image and video data as inputs while learning disentangled content and motion representations. Our Dual-MTGAN is able to perform deterministic motion transfer and stochastic motion generation. Based on a given image, the former preserves the input content and transfers motion patterns observed from another video sequence, and the latter directly produces videos with plausible yet diverse motion patterns based on the input image. The proposed model is trained in an end-to-end manner, without the need to utilize pre-defined motion features like pose or facial landmarks. Our quantitative and qualitative results would confirm the effectiveness and robustness of our model in addressing such conditioned image-to-video tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23797v1cs.GR공통 태그 Motion Generation, Video Generation

MoSAT: 공간 오디오와 텍스트 설명으로부터의 인간 동작 생성

MoSAT: Human Motion Generation from Spatial Audio and Textual Description

인간의 동작(motion)은 외부의 음향 사건(acoustic event)과 행동 의도(behavioral intent) 모두에 의해 형성된다: 공간 오디오(spatial audio)는 반응을 유발하거나 안내하는 환경적 단서를 전달하며, 텍스트는 원하는 행동과 그것이 수행되어야 하는 방식을 명시한다. 본 논문에서는 공간 오디오와 자연어에 공동으로 조건화된 인간 동작 합성이라는 새로운 과제를 연구하며, 이는 기존 연구에서 크게 간과되어 온 문제이다. 이 과제를 뒷받침하기 위해, 우리는 공간 오디오와 상세한 텍스트 주석이 짝지어진 동작 시퀀스로 구성된 데이터셋(dataset)인 STAM을 소개하며, 이 텍스트 주석의 풍부한 어휘는 인간 동작을 정밀하고 세밀하게 명시할 수 있게 한다. 나아가 우리는 자연어로 표현된 의도와 방향성을 가진 공간 오디오 단서에 공동으로 조건화된 전신 동작 생성을 위한 잠재 흐름 매칭(latent flow-matching) 프레임워크인 MoSAT을 소개하며, 이는 동작을 생성하기 전에 계층적 교차 어텐션(hierarchical cross-attention)을 거친다. 이러한 계층적 설계는 시간적으로 일관되고 의미적으로 정렬된 동작 시퀀스를 향상시킨다. 우리는 또한 이 새로운 과제에 대한 종합적인 평가를 위해 삼중 모달(tri-modal) 평가자를 개발한다. 광범위한 실험을 통해 MoSAT이 공간 오디오의 본질적인 동작 형성 특성과 텍스트 의미를 함께 활용함으로써 SOTA 성능을 달성하며, 다양한 시나리오에서 정밀하고 다양한 동작을 가능하게 함을 보인다.

arXiv:2607.23517v1cs.CV공통 태그 Motion Generation, Video Generation

상반신 인간-객체 상호작용을 위한 실시간 인간 중심 월드 모델링

Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction

본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.

arXiv:2607.10287v1cs.CV공통 태그 Motion Generation, Video Generation

InterPet4D: 반려동물 모션 생성을 위한 멀티모달 4D 인간-반려동물 상호작용 데이터셋

InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

인간-반려동물 상호작용 추정 및 생성은 고품질 대규모 데이터셋의 부재로 인해 충분히 연구되지 않은 분야입니다. 우리는 인간과 개 사이의 자연스러운 상호작용을 포착한 최초의 멀티모달 데이터셋인 InterPet4D를 제시합니다. 동기화된 다중 시점 캡처 시스템을 사용하여 인간-개 복종 훈련 장면을 녹화하고, 다중 시점 및 에고센트릭 영상, 세그멘테이션, 2D 및 3D 키포인트, 메시, 오디오 트랙을 포함한 인간과 개 각각에 대한 어노테이션을 제공합니다. InterPet4D는 23명의 인간 참가자와 상호작용하는 11개 품종의 개 13마리로부터 수집한 680만 프레임으로 구성됩니다. 나아가 인간-반려동물 상호작용 모션 생성을 위한 InterPetMoGen 프레임워크를 소개합니다. 제안한 모델은 FID 점수 11.21을 달성하며 Seq2Seq 및 DiT 베이스라인을 크게 상회하여, 현실적인 인간-반려동물 상호작용 모델링에 있어 InterPet4D의 효과성을 입증합니다.

arXiv:2607.05733v1cs.CV공통 태그 Motion Generation, Video Generation

ARMS: 자연스러운 솔로-소셜 모션 전환을 위한 앵커-관계형 모션 스트리밍

ARMS: Anchor-Relational Motion Streaming for Seamless Solo-Social Motion Transitions

텍스트로부터 시간적으로 연속적이고 사회적으로 일관된 인간 모션을 생성하는 것은 근본적인 과제로, 특히 사람이 혼자 행동하다가 상호작용에 진입하고 이후 이탈하는 현실적인 스트림에서 더욱 그러하다. 기존 방법들은 대부분 정적인 에이전트 구성 하에서 고정 길이의 모션 클립을 생성하며, 이로 인해 솔로-소셜 전환에 취약하고 긴 시간 지평에 걸친 점진적 생성에는 적합하지 않다. 우리는 ARMS(Anchor-Relational Motion Streaming) 프레임워크를 제안한다. 이 프레임워크는 단일 인과적 생성 과정 내에서 솔로 모션과 인간-인간 상호작용을 통합한다. ARMS는 동역학 비대칭 표현(dynamics-asymmetric representation)을 도입하여 파트너 참조 상대 이동 항(partner-referenced relative-translation term)을 통해 에이전트별 시간적 진화와 에이전트 간 정렬을 분리함으로써, 장기적 안정성이나 에이전트 간 공간적 일관성을 희생하지 않으면서 소셜 결합을 원활하게 전환할 수 있도록 한다. 인과적 잠재 공간 위에서 인과적 관계형 확산 모델(causal relational diffusion model)이 과거 컨텍스트만을 활용해 모션 세그먼트를 순차적으로 정제하며, 인물 내 시간적 의존성과 인물 간 관계를 모두 포착한다. 모드 인식 관계형 게이팅(mode-aware relational gating)은 에이전트 간 연결을 활성화하거나 마스킹하여, 동일한 모델이 솔로 생성과 상호작용 생성 모두를 지원할 수 있도록 한다. 실험 결과, ARMS는 상호작용 중심의 기준 모델과 비교해 전환 부드러움과 사회적 일관성을 향상시키며, 인간-인간 상호작용 벤치마크에서도 경쟁력 있는 성능을 달성함을 보여준다.

arXiv:2607.01743v1cs.CV공통 태그 Motion Generation, Video Generation

InterCMDM: 자기회귀적 인간 상호작용 생성을 위한 블록-인과 디퓨전

InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

텍스트 조건부 인간 상호작용 생성은 각 개인 내의 장거리 시간적 인과성과 파트너 간의 긴밀하게 결합된 협응을 모두 포착해야 한다. 기존 상호작용 디퓨전 모델들은 일반적으로 양방향 어텐션을 사용하여 전체 시퀀스를 노이즈 제거하는데, 이는 인과성을 불명확하게 하고 스트리밍 및 장기 생성을 방해한다. 자기회귀적 대안은 인과성을 강제하지만 시간적 드리프트로 인해 협응이 저하되고 시간이 지남에 따라 상호작용 역학이 불안정해지는 경우가 많다. 우리는 자기회귀적 두 사람 상호작용 생성을 위한 블록-인과 잠재 디퓨전 프레임워크인 InterCMDM을 제안한다. InterCMDM은 각 사람에 대해 별도의 인과 스트림을 유지하면서, 다중 태스크 어텐션 마스크를 활용한 통합 듀얼-스트림 어텐션을 통해 사람 간 의존성을 모델링하는 듀얼-스트림 인과 디퓨전 트랜스포머를 도입한다. 이 마스크들은 단일 어텐션 메커니즘 내에서 상호작용 모델링을 통합하며, 동시 행동, 반응적 응답, 리더-팔로워 역학, 독립적 동작을 포함한 다양한 협응 행동을 지원한다. 이러한 마스크 구성들에 걸쳐 단일 모델을 데이터 증강의 한 형태로 학습함으로써, InterCMDM은 추론 시 원하는 어텐션 마스크를 단순히 선택하는 것만으로 제어 가능한 상호작용 생성을 가능하게 한다. 마지막으로, 블록 단위 디퓨전 목적 함수는 반복적인 디코드-인코드 사이클 없이 긴 시퀀스에 걸쳐 안정적인 잠재 롤아웃을 가능하게 한다. InterCMDM은 InterHuman 및 Inter-X에서 최첨단 성능을 달성하여 텍스트-모션 정렬, 사실성, 장기 연속성을 향상시킨다.

arXiv:2607.04311v3cs.CV공통 태그 Video Generation

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.