arXiv:2606.06853v1 cs.CV

MotionEnhancer: 비디오 확산을 활용한 동작 강화 비전-언어 모델

MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models

Yifan Xu, Chao Zhang, Ruifei Ma, Fei Gao, Zhifei Yang, Jiaxing Qi, Zhipeng Chen

제출 2026-06-05

한국어 초록

최근 비전-언어 모델(VLM)을 비디오 이해 작업으로 확장하는 능력이 크게 향상되었다. 현재 VLM은 이벤트 수준이나 스토리 수준의 이해에는 탁월하지만, 미세한 동작 세부 사항을 포착하는 능력은 여전히 제한적이며, 이는 주로 고수준의 정적 의미 구조와 거시적 이벤트 논리에 초점을 맞추기 때문이다. 반면 비디오 확산 모델(VDM)은 대규모 비디오 데이터와 시간적 생성이라는 본질적 요구 사항의 이점 덕분에 동적 동작 패턴을 모델링하는 데 능숙하다. 본 논문에서는 강력한 비디오 확산 모델에서 증류한 동작 사전지식을 보조 감독으로 활용하여 어텐션 정렬을 통해 VLM의 동작 이해 능력을 강화하는 새로운 접근법인 MotionEnhancer를 제안한다. MotionEnhancer는 VDM으로부터 동작 관련 어텐션을 연산만으로 직접 추출하고 최적화하기 위해 Motion-sensitive Head Selection(MHS)과 Motion-salient Text Token Identification(MTTI)이라는 두 가지 간단한 매개변수 없는 모듈로 구성된다. MotionEnhancer는 추가 학습 매개변수, 기존 아키텍처 수정, 또는 도구 호출 없이 동작 이해를 위한 확장 가능한 해결책을 제공한다. 광범위한 실험 결과, MotionEnhancer는 두 가지 동작 수준 비디오 이해 벤치마크에서 최신 VLM 대비 일관된 성능 향상을 달성하며, 특히 동작 관련 지표에서 두드러진 개선을 보인다.

원문 초록

The new era has witnessed a remarkable capability to extend Vision-Language Models (VLMs) for tackling tasks of video understanding. While current VLMs excel at event- or story-level understanding, their ability to capture fine-grained motion details remains limited, primarily due to their focus on high-level static semantic structures and macro-event logic. In contrast, Video Diffusion Models (VDMs) are adept at modeling dynamic motion patterns, benefiting from large-scale video data and the intrinsic requirement of temporal generation. In this paper, we introduce MotionEnhancer, a novel approach that leverages motion priors distilled from a powerful video diffusion model as auxiliary supervision to enhance the motion understanding capability of a VLM via attention alignment. MotionEnhancer comprises two simple parameter-free modules, Motion-sensitive Head Selection (MHS) and Motion-salient Text Token Identification (MTTI), to directly extract and optimize motion-related attentions from the VDM in a computation-only manner. MotionEnhancer provides a scalable solution for motion understanding without additional training parameters, modifications to existing architectures, or tool calling. Extensive experiments demonstrate that MotionEnhancer can achieve consistent improvements over state-of-the-art VLMs on two motion-level video understanding benchmarks, especially on motion-related metrics.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06853v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23153v2cs.CV공통 태그 Knowledge Distillation, Video Generation, video diffusion

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2610.10343v2cs.CV공통 태그 Knowledge Distillation, Video Generation

병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/

arXiv:2610.10984v1cs.CV공통 태그 Video Generation, video diffusion

Fluid-Gen-Zero: 학습 없이 사전학습된 비디오 생성기를 물리 법칙에 그라운딩하기

Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training

본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.

arXiv:2610.03221v1cs.CV공통 태그 Knowledge Distillation, Video Generation

VDOT++: 불균형 최적 수송 증류를 통한 통합 소수 단계 비디오 생성

VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation

비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.

arXiv:2610.03543v1cs.CV공통 태그 Knowledge Distillation, Video Generation

DuoMatching: 소수 스텝 비디오 생성을 위한 결합-주변 분포 매칭

DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation

스트리밍 비디오 생성은 실제 비디오 분포에 대한 비디오 교사(teacher) 모델의 근사치에 비디오 프레임의 결합 분포(joint distribution)를 맞추는 분포 매칭 증류(DMD)의 이점을 활용해 왔습니다. 이러한 결합 매칭은 자기회귀 롤아웃 과정에서 발생하는 드리프트를 완화하지만, 시각적 품질과 의미론적 정렬(semantic alignment) 측면에서는 여전히 한계가 존재합니다. 이러한 한계를 해결하기 위해, 우리는 통합된 결합-주변(joint-marginal) 정식화를 통해 실제 비디오 분포를 근사하는 분포 매칭 프레임워크인 DuoMatching을 제안합니다. 기존의 결합 매칭 정식화 위에 추가적인 주변 매칭 목표를 도입하여 이미지 생성기로부터 전용 프레임 수준의 지도(supervision)를 제공함으로써, 상호 보완적인 시각적 및 의미론적 사전 정보(priors)를 전이합니다. 비디오 생성에 이러한 프레임 수준의 지도를 적용하기 위해, 비디오 학생(student)과 이미지 교사 모델 간의 잠재 표현(latent representation) 불일치를 해결하는 LatentBridge를 도입합니다. 또한 Latent Variation Sampling은 이러한 프레임 수준 지도를 서로 다른 시간 세그먼트에 분산시켜 중복성을 줄입니다. 실험을 통해 DuoMatching이 모션 동역학을 대부분 유지하면서 시각적 품질, 구도, 의미론적 정렬을 향상시킴을 입증했습니다. 사람 평가(human evaluation)에서는 평가된 모든 베이스라인 대비 80% 이상의 전반적인 선호도를 기록했습니다. 프로젝트 페이지는 https://johnzhan2023.github.io/DuoMatching/ 에서 확인할 수 있습니다.

arXiv:2610.00559v1cs.CV공통 태그 Video Understanding, Video Generation

PhysVista: 인지-추론-평가 루프를 통한 VLM의 물리적 지능 벤치마킹

PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop

비전-언어 모델(VLM)은 뛰어난 멀티모달 추론 능력을 보여주었으나, 실제 세계 역학의 기반이 되는 물리적 일관성을 진정으로 포착하고 있는지는 여전히 불분명합니다. 기존 벤치마크 패러다임은 인지, 추론, 물리적 판단 사이의 내재적 시너지를 간과한 채 고립된 인지 단계에만 집중하는 파편화된 평가로 어려움을 겪는 경우가 많습니다. 이러한 총체적 관점의 부재는 최근 등장하는 생성 모델의 물리적 진위성을 VLM이 신뢰성 있게 평가할 수 있는지 진단하는 데 한계를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 인간의 관찰-추론-평가 과정에서 영감을 얻은 폐쇄형 인지 루프 프레임워크를 통해 VLM의 물리적 지능을 평가하도록 설계된 벤치마크인 PhysVista를 소개합니다. PhysVista는 물리적 상태 인지, 물리적 역학 추론, 물리적 타당성 평가를 공동으로 평가함으로써 이 루프를 복원합니다. 또한 물리적 이해에 대한 세분화된 분석을 가능하게 하기 위해 사건 수준 추론과 스케일 수준 추론을 구분합니다. 이에 더해 PhysVista는 실제 영상과 AI 생성 영상을 모두 포함하여 다양한 도메인과 새롭게 부상하는 생성 시나리오 전반에 걸친 평가를 가능하게 합니다. 다양한 VLM 세트를 대상으로 한 광범위한 실험을 통해 물리적 추론 및 타당성 평가에서 상당한 한계가 드러났으며, 이는 시각적 인식과 진정한 물리적 이해 사이에 지속적인 격차가 존재함을 부각하고 물리적으로 기반을 둔(physically grounded) 멀티모달 지능을 위한 보다 원칙적인 설계 방향을 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.