arXiv:2609.28095v1 cs.CV

MotionSpec: 동작 일관성 비디오 생성을 위한 스펙트럴 궤적 감독

MotionSpec: Spectral Trajectory Supervision for Motion-Consistent Video Generation

Ziqi Ni, Rui Li, Shiqi Jiang, Wei Zhou

제출 2026-09-24

한국어 초록

최근 텍스트-투-비디오(text-to-video) 생성의 발전으로 고품질 시각 합성이 가능해졌지만, 사실적인 동작(motion) 구현은 여전히 어렵다. 생성된 비디오는 시간적 불연속성, 일관되지 않은 동작 진행, 복잡한 움직임 중 구조적 왜곡을 보일 수 있다. 개별 프레임이 사실적으로 보이더라도 기저 동작은 일관되지 않거나 비현실적인 방식으로 진화할 수 있다. 표준 생성 목적 함수는 동작 특화 감독을 제한적으로만 제공하여 동작 진화가 충분히 제약되지 않는다. 본 논문에서는 스펙트럴 궤적 일관성(Spectral Trajectory Consistency, STC)을 중심으로 한 동작 감독 프레임워크 MotionSpec을 제안한다. STC는 밀집 anchor-relative 동작 궤적을 구성하고 시간 푸리에 변환(temporal Fourier transform)을 통해 이를 motion spectral volume으로 변환한다. 예측 궤적과 목표 궤적의 스펙트럴 진폭과 위상을 정렬함으로써 STC는 시간 주파수에 걸친 동작 강도와 동작의 시간적 구조화를 모두 제약한다. 궤적 수준 감독을 보완하기 위해, 예측·목표 비디오 간 연속 프레임 optical flow를 정렬하여 국소 동작 전환을 안정화하는 국소 흐름 일관성(Local Flow Consistency, LFC)을 도입한다. 실험 결과 MotionSpec은 시각적 충실도를 유지하면서 동작 일관성, 시간적 일관성, 및 타당성을 일관되게 향상시킴을 보여준다.

원문 초록

Recent advances in text-to-video generation have enabled high-fidelity visual synthesis, yet realistic motion remains challenging. Generated videos may exhibit temporal discontinuities, inconsistent action progression, and structural distortions during complex movements. Even when individual frames appear realistic, the underlying motion may evolve in inconsistent or implausible ways. Standard generative objectives provide limited motion-specific supervision, leaving motion evolution insufficiently constrained. In this paper, we propose MotionSpec, a motion supervision framework centered on Spectral Trajectory Consistency (STC). STC constructs dense anchor-relative motion trajectories and transforms them into motion spectral volumes via a temporal Fourier transform. By aligning the spectral amplitude and phase of predicted and target trajectories, STC constrains both motion strength across temporal frequencies and the temporal organization of motion. To complement this trajectory-level supervision, we introduce Local Flow Consistency (LFC), which aligns consecutive-frame optical flow between predicted and target videos to stabilize local motion transitions. Experiments demonstrate that MotionSpec consistently improves motion consistency, temporal coherence, and plausibility while preserving visual fidelity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28095v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03473v1cs.CV공통 태그 Optical Flow Estimation, Video Generation

UniDynamics: 통합 미래 4D 동적 장면 생성을 위한 이벤트-RGB 융합

UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation

본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.

arXiv:2610.01019v1cs.CV공통 태그 Optical Flow Estimation, Video Generation

FutureWorlds: 대안적 미래로부터 로봇 월드 모델 학습하기

FutureWorlds: Learning Robotic World Models from Alternative Futures

로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.

arXiv:2609.28083v1cs.CV공통 태그 Optical Flow Estimation, Video Generation

ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델

ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming

듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.

arXiv:2609.22267v1cs.CV공통 태그 Optical Flow Estimation, Video Generation

내 샷을 훔쳤나? 생성형 영상에서 카메라 모션 표절 검출의 개척

Did You Steal My Shot? Pioneering Camera Motion Plagiarism Detection in Generative Videos

카메라 모션은 종종 연출 의도를 반영하며 전문 장비를 필요로 하므로, 지적 재산으로서 높은 가치를 지닌다. 그러나 생성형 비디오 모델은 단순한 프롬프트만으로 이러한 고가치 카메라 모션을 모방할 수 있는 반면, 기존 유사도 검출 방법은 주로 시각적 콘텐츠를 대상으로 동작하여 더 깊은 수준의 모션 유사성을 포착하지 못한다. 이는 주로 해당 방법들의 학습 데이터가 카메라 모션과 시각적 콘텐츠를 얽어놓기 때문이다. 또한 전통적인 optical flow만으로는 복잡한 카메라 모션을 표현하기에 불충분하다. 따라서 우리는 카메라 모션 분석을 위한 최초의 벤치마크를 구축하며, 11가지 모션 스타일을 포함하는 모션 데이터셋과 평가 프로토콜을 제시한다. 더 나아가 유체 역학의 vorticity(와도) 단서로 optical flow를 보강하는 모션 표현을 제안하여 모션을 더 잘 포착한다. 실험 결과, 제안 검출기는 가장 강한 기준선 대비 표절 검출에서 3.02*의 향상을 달성하였으며 생성형 영상에서도 효과를 유지한다. 우리는 본 연구가 저작권 보호를 정적 콘텐츠를 넘어 동적 카메라 모션까지 확장한다고 믿는다.

arXiv:2609.23408v1cs.CV공통 태그 Optical Flow Estimation, Video Generation

효율적인 프레임 보간을 위한 베지에 조절점 기반의 정확한 모션 추정

Accurate Motion Estimation with B\'ezier Control Point for Efficient Frame Interpolation

프레임 보간(frame interpolation) 작업에서 학습 데이터셋 내의 모션 모호성(motion ambiguity)은 모델이 흐릿한 중간 프레임을 생성하게 만듭니다. 또한, 추론 시 프레임 간 등속 모션을 가정하는 것은 생성된 중간 프레임의 부정확성을 더욱 심화시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 효율적인 프레임 보간을 위한 베지에 조절점 기반의 정확한 모션 추정 알고리즘인 ABC-Inter를 제안합니다. 구체적으로, ABC-Inter는 두 프레임의 특징을 분리하고 이를 해당 좌표에 매핑하여 두 프레임 간의 옵티컬 플로우(optical flow)를 더 잘 추정하는 정확한 플로우 추정 모듈(Accurate Flow estimation Module, AFM)을 설계합니다. 나아가 ABC-Inter는 입력 프레임과 중간 실측값(gt) 프레임을 사용하여 계산되는 베지에(Bézier) 조절점을 도입함으로써 학습 세트의 모션 모호성을 제거합니다. 이를 통해 모델은 학습 과정에서 두 프레임 간의 정확한 옵티컬 플로우를 추정할 수 있게 되며, 결과적으로 추론 시 생성되는 중간 프레임의 흐릿함 문제를 해결합니다. 두 프레임 간의 더욱 정확한 플로우 추정 덕분에, 모델을 재학습하지 않고도 추가 프레임을 도입하고 여러 플로우를 직접 사용하여 비균일 모션을 모델링하기 위한 베지에 조절점을 계산할 수 있습니다. 동시에 단 두 개의 프레임만을 사용하여 비선형 모션 추정을 실현하기 위해, 2단계에서 모델에 미세조정을 수행하여 두 프레임 간의 더 우수한 모션 추정을 달성하는 새로운 베지에 조절점 추정 모듈도 도입합니다. 실험 결과는 우리의 ABC-Inter가 여러 벤치마크 데이터셋에서 최고 수준(state-of-the-art)의 성능을 달성하며 뛰어난 시각적 인지 품질을 보여줌을 입증합니다.

arXiv:2607.13017v1cs.RO공통 태그 Optical Flow Estimation, Video Generation

FlowWAM: 월드 액션 모델을 위한 통합 액션 표현으로서의 광학 흐름

FlowWAM: Optical Flow as a Unified Action Representation for World Action Models

월드 액션 모델(WAM)은 사전학습된 비디오 생성기를 월드 모델링과 액션 예측 모두에 활용할 수 있다. 그러나 이러한 비디오 생성기를 제어에 직접 활용하면 새로운 과제가 생긴다. 즉, 사전학습된 비디오 생성기와 정렬되면서도 정확한 제어에 필요한 충분한 모션 단서를 담을 수 있는 적절한 형태로 액션을 어떻게 표현할 것인가이다. 기존의 수치적 액션 표현은 전자를 만족시키지 못하고, 기존의 시각적 액션 표현은 프레임에 걸친 시간적 모션 구조를 간과한다. 우리는 광학 흐름(optical flow)을 통합적이고 비디오 네이티브한 액션 표현으로 채택하는 이중 스트림 diffusion 프레임워크인 FlowWAM으로 이 문제를 해결한다. 플로우 비디오는 RGB 비디오와 동일한 형식을 공유하며 픽셀 단위의 풍부한 변위를 인코딩한다. 공유 사전학습 비디오 생성기 내에서 이들을 공동 모델링함으로써 FlowWAM은 WAM의 두 가지 모드를 자연스럽게 구현할 수 있다. 정책 모드에서는 FlowWAM이 액션 예측을 위해 flow를 생성하고, 월드 모델 모드에서는 목표 flow 시퀀스를 사용해 미래 비디오 생성을 유도한다. 또한 flow는 액션 레이블 없이 원시 비디오에서 쉽게 추출할 수 있으므로 FlowWAM은 사전학습에 대규모 액션 미레이블 비디오 데이터셋을 활용할 수 있다. 실험 결과, flow 기반 액션 표현이 두 모드 모두에서 성능 향상을 가져온다. RoboTwin 조작 작업에서 FlowWAM은 Clean 설정에서 성공률 92.94%, Random 설정에서 92.14%를 달성하여 VLA 및 WAM 베이스라인을 모두 능가한다. WorldArena 월드 모델링에서는 종합 EWMScore 63.71로 최고 성능을 기록했으며 궤적 정확도에서 18.4%의 상대적 향상을 보였다. 추가 결과는 프로젝트 웹사이트에서 확인할 수 있다: https://flow-wam.github.io .

토론

이 논문과 연결된 포럼 글이 아직 없습니다.