arXiv:2012.10744

GlocalNet: Class-aware Long-term Human Motion Synthesis

Neeraj Battan, Yudhik Agrawal, Veeravalli Saisooryarao, Aman Goel, Avinash Sharma

제출 2020-12-19

원문 초록

Synthesis of long-term human motion skeleton sequences is essential to aid human-centric video generation with potential applications in Augmented Reality, 3D character animations, pedestrian trajectory prediction, etc. Long-term human motion synthesis is a challenging task due to multiple factors like, long-term temporal dependencies among poses, cyclic repetition across poses, bi-directional and multi-scale dependencies among poses, variable speed of actions, and a large as well as partially overlapping space of temporal pose variations across multiple class/types of human activities. This paper aims to address these challenges to synthesize a long-term (> 6000 ms) human motion trajectory across a large variety of human activity classes (>50). We propose a two-stage activity generation method to achieve this goal, where the first stage deals with learning the long-term global pose dependencies in activity sequences by learning to synthesize a sparse motion trajectory while the second stage addresses the generation of dense motion trajectories taking the output of the first stage. We demonstrate the superiority of the proposed method over SOTA methods using various quantitative evaluation metrics on publicly available datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08375v1cs.CV공통 태그 Trajectory Prediction, Video Generation

WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델

WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving

비전-언어-액션(VLA) 모델은 엔드-투-엔드 자율주행을 발전시켜 왔다. 그러나 기존 방법들은 포괄적인 세계 인지(world cognition)가 부족하거나 단편적인 세계 예측(world foresight)으로 인해 어려움을 겪으며, 이로 인해 이러한 모델들은 본질적으로 반응적 주행에 국한된다. 이러한 한계를 해결하기 위해, 우리는 WCog-VLA를 제안한다. 이는 의미론적 세계 예측과 생성적 세계 진화를 성공적으로 연결하여 능동적 자율주행을 달성하는 새로운 이중 수준 세계-인지 VLA 프레임워크이다. 의미론적 수준에서, WCog-VLA는 3D 공간 인지를 통합하고 에이전트 토큰을 주입하여 세계 역학을 포착함으로써 세계 인지와 추론을 통합하며, 동시에 게임 이론적 사고의 연쇄(Game-theoretic Chain-of-Thought, Game-CoT) 추론을 가능하게 한다. 생성적 수준에서는, 물리적으로 타당한 다중 에이전트 합동 궤적을 합성하는 강력한 생성 세계 모델로서 정렬된 분리 확산 트랜스포머(Aligned Decoupled Diffusion Transformer, ADDT)를 도입한다. 장면 표현 정렬(scene representation alignment)을 통해 ADDT는 필요한 노이즈 제거 단계 수를 줄여 추론을 크게 가속화한다. 전략적 추론을 촉진하기 위해, 85k개의 Game-CoT 어노테이션을 포함하는 대규모 데이터셋을 추가로 구축한다. NAVSIM 벤치마크에서의 광범위한 실험을 통해 WCog-VLA가 92.9의 최첨단(SOTA) PDMS 점수를 달성함을 입증한다.

arXiv:2607.04311v3cs.CV공통 태그 Video Generation

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.00047v3cs.MM공통 태그 Video Generation

Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.

arXiv:2609.27901v2cs.CV공통 태그 Video Generation

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

토론

이 논문과 연결된 포럼 글이 아직 없습니다.