PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19676v1cs.CV

TeleMorpher: 강건한 동시 모션-위치 편집을 향하여

TeleMorpher: Toward Robust Simultaneous Motion-Location Editing

디퓨전 모델은 이미지 및 비디오 생성과 편집에서 괄목할 만한 성공을 거두었습니다. 최근 연구들이 모션 편집 방향으로 이러한 노력을 확장했지만, 실용적 중요성에도 불구하고 모션과 위치를 동시에 변환하는 것은 거의 탐구되지 않은 상태로 남아 있습니다. 강건한 모션-위치 편집을 더 잘 이해하기 위해, 우리는 먼저 그 품질을 저하시키는 근본적인 요인들을 분석합니다. 이 분석을 바탕으로, 우리는 동시 모션-위치 편집을 위한 (아는 한) 최초의 원샷 프레임워크 중 하나인 TeleMorpher를 제안합니다. 우리의 접근 방식은 더 제어 가능하고 정밀한 모션-위치 편집을 가능하게 하기 위해 모션 사전(motion priors), 기존 모델에서 생성된 타겟 모션 중심 비디오를 모션 편집 가이던스로 활용하며, 정답 모션(ground truth motion)을 활용합니다. 이를 통해, 우리의 프레임워크는 다음과 같이 작동합니다: (1) 우리는 먼저 사전 학습된 세그멘테이션 및 인페인팅 모델을 통해 주인공과 배경을 분리합니다. (2) 그런 다음, 우리는 모션 사전을 가이던스로 사용하여 주인공의 모션을 편집하는 학습 없는(training-free) 포즈 워핑을 도입합니다. (3) 워핑된 모션 비디오의 결과는 추론(inference) 동안 기준선(baseline) 모션 에디터에 직접 주입되어, 소스 비디오의 외관을 보존하면서 소스와 타겟 모션 간의 차이를 완화합니다. (4) 정량적 평가의 신뢰성을 높이기 위해, 우리는 모션 편집 전후의 배경 일관성과 소스 및 타겟 비디오에서 추출된 주인공의 스켈레톤 간의 차이를 측정하여 모션 편집 성능의 충실도를 측정하는 두 가지 새로운 LPIPS 기반 메트릭을 제안합니다. 실제 환경(in-the-wild) 비디오와 TaiChi 데이터셋(dataset)을 사용한 실험은 TeleMorpher가 정량적 및 정성적 측정(실제 인간 평가) 모두에서 우수한 성능을 달성함을 보여주며, 그 효과성을 강조합니다.

arXiv:2606.19531v1cs.CV

ImageWAM: 세계 행동 모델은 정말 비디오 생성이 필요한가, 아니면 이미지 편집만으로 충분한가?

ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?

세계 행동 모델(WAMs)은 시각적 세계 모델링과 로봇 제어를 연결하기 위해 일반적으로 비디오 생성에 의존합니다. 그러나 비디오 기반 WAM은 세 가지 연관된 제한 사항에 직면합니다: 조밀한 다중 프레임 미래 토큰으로 인해 추론 비용이 증가하고, 전체 비디오 예측은 행동과 무관한 시간적 및 외관적 세부 사항에 모델 용량을 소비하며, 장기(long-horizon) 미래 상상은 행동 예측을 오도할 수 있는 오류를 야기할 수 있습니다. 이러한 문제들은 간단한 질문을 제기합니다: 세계 행동 모델은 정말 비디오 생성이 필요한가요? 우리는 사전학습된 이미지 편집 모델을 로봇 행동 예측용으로 재목적화하는 간단한 WAM 프레임워크인 ImageWAM을 제안합니다. 비디오 생성과 대조적으로, 이미지 편집은 더 잘 일치하는 사전(prior)을 제공합니다: 타겟 프레임 변환만 모델링하면 되고, 행동 관련 현재에서 타겟으로의 시각적 차이에 초점을 맞추며, 편집 사전학습을 통해 작업 지시를 국소화된 시각적 변화에 그라운딩합니다. 실제로 ImageWAM은 추론 시간에 타겟 프레임을 디코딩하지 않습니다. 대신, 이미지 편집 디노이징을 통해 생성된 KV 캐시를 조건으로 사용하여 플로우 매칭 행동 전문가를 조건화하며, 이를 압축된 세계-행동 컨텍스트로 활용합니다. ImageWAM은 다양한 시뮬레이터 및 실제 환경 실험에서 추가적인 정책 사전학습 없이 표준 VLA 베이스라인 및 대등한 경쟁 WAM을 능가합니다. 또한 비디오 기반 WAM 대비 FLOPs를 1/6로, 지연 시간을 1/4로 줄입니다. 어텐션 분석은 편집 캐시가 작업 관련 변화 영역에 초점을 맞추고 있음을 추가로 보여주며, 이미지 편집이 비디오 기반 세계-행동 모델링의 효과적인 대안임을 뒷받침합니다.

arXiv:2606.19495v1cs.CV

LooseControlVideo: 공간적 블로킹(Spatial Blocking)을 이용한 비디오 연출 제어

LooseControlVideo: Directorial Video Control using Spatial Blocking

텍스트-비디오 생성(text-to-video)에서 정밀한 3D 공간 구성(orchestration)은 여전히 중요한 도전 과제로 남아 있으며, 특히 의미적 레이아웃(semantic layout)과 시간적 역학(temporal dynamics)이 서로 얽혀 있는 다중 객체 장면에서 더욱 그렇습니다. 기존 깊이 조건부 모델(depth-conditioned models)은 우수한 구조적 충실도(structural fidelity)를 달성하지만, 변형 가능한 객체(deformable objects)가 포함된 동적 이벤트의 경우 밀집하고 프레임 단위로 정확한 가이던스(guidance)가 필요하여 작성에 많은 노력이 듭니다. 본 논문에서는 희소하고 방향성 있는 3D 박스를 "블로킹(blocking)" 프록시로 사용하여 직관적이고 표현력 있는 제어를 가능하게 하는 LooseControlVideo 프레임워크를 제시합니다. 이를 통해 사용자는 고수준의 레이아웃(layout)과 궤적(trajectory)을 설정하는 한편, 비디오 생성 모델(video generative model)을 활용하여 사실적인 오클루전(occlusion), 역학(dynamics) 및 상호작용을 생성할 수 있습니다. 우리는 3D 크기, 방향 및 깊이 순서 오클루전(depth-ordered occlusions)에 대한 새로운 인코딩인 DNOCS로 주석이 달린 비디오 데이터셋(dataset)에서 Wan 2.2 백본(backbone)을 미세조정(fine-tuning)하여 이를 달성했습니다. 또한, 본 방법은 점프 궤적 조정이나 상호작용 추가와 같은 국소적 수정(localized refinement)을 전역 장면 컨텍스트(global scene context)에 미치는 영향을 최소화하면서 수행할 수 있습니다. nuScenes, HO-3D, BEHAVE 벤치마크(benchmarks)에 대한 광범위한 평가 결과, LooseControlVideo는 기존 2D 박스 및 플로우 기반 베이스라인(baselines)을 크게 능가하는 것으로 나타났습니다. 연구 결과에 따르면, 현재 최첨단 레이아웃 조건부 모델(layout-conditioned models) 대비 궤적 오차(Trajectory Error)가 1.2배에서 3배 개선되었고, 강체 운동 일관성(Rigid Motion Consistency)은 2배 개선되었으며, 오클루전 정확도(Occlusion Accuracy)는 1.5배에서 2배 증가했습니다. 이는 방향성 있는 3D 프리미티브(primitives)가 복잡한 다중 에이전트(multi-agent) 비디오 제작(video authoring)을 위해 훌륭한 기하학적 사전(geometric prior)을 제공함을 입증합니다.

arXiv:2606.18960v2cs.CV

Mem-World: 지속적 로봇 매니퓰레이션을 위한 메모리 증강 행동 조건 월드 모델

Mem-World: Memory-Augmented Action-Conditioned World Models for Persistent Robot Manipulation

행동 조건 월드 모델(action-conditioned world model)은 로봇 학습을 위한 유망한 패러다임으로 등장했으며, 행동과 일관된 비디오 롤아웃(video rollout)을 생성하여 비용이 많이 드는 실제 실험에 대한 확장 가능한 대안을 제공합니다. 그러나 매니퓰레이션(manipulation)에서 지속적 월드 모델링은 여전히 어려운 과제입니다. 빈번한 엔드 이펙터(end-effector) 폐색과 빠른 손목 카메라(wrist-camera) 움직임으로 인해 현재 관찰만으로는 미래 뷰를 예측하기에 불충분하며, 이로 인해 모델이 이전 프레임에서 본 장면의 세부 사항을 잊어버리거나 환각(hallucination)을 일으키는 문제가 발생합니다. 기존 메모리 검색 전략은 동적인 매니퓰레이션 시나리오에서 유익한 과거 정보를 식별하는 데 종종 실패합니다. 이러한 한계를 해결하기 위해 본 연구에서는 메모리 증강 멀티 뷰(multi-view) 행동 조건 월드 모델인 Mem-World를 제안합니다. 그 핵심으로, 과거 관찰을 시간에 따라 변화하는 표면 요소에 고정(anchor)하는 4D 손목 뷰(wrist-view) 중심의 서펄(surfel) 인덱싱 메모리인 W-VMem을 제시합니다. 장면 요소가 언제 그리고 어디서 관찰되었는지 명시적으로 모델링함으로써, W-VMem은 미래 행동에 조건화된 관련 과거 프레임의 기하학적 인식(geometry-aware) 검색을 가능하게 합니다. 생성 과정에서 서펄 기반 렌더링과 점수 매기기(scoring)를 통해 관련 과거 프레임이 선택되며, 이는 예측을 위해 유익하고 중복되지 않는 컨텍스트(context)를 제공합니다. 광범위한 실험 결과, Mem-World는 복잡한 매니퓰레이션 시나리오에서 지속적인 롤아웃을 생성할 수 있으며, Ctrl-World보다 더 신뢰할 수 있는 정책(policy) 평가를 가능하게 하여 실제 성능과의 피어슨 상관계수를 14.5% 개선했습니다. 또한, 합성 데이터 생성을 통한 효과적인 정책 개선을 지원하여 장기(long-horizon) 작업에서 성공률을 58%에서 72%로 향상시켰습니다.

arXiv:2605.31158v3cs.CV

Light Interaction: 대화형 비디오 월드 모델을 위한 학습 없는 추론 가속

Light Interaction: Training-Free Inference Acceleration for Interactive Video World Models

대화형 비디오 월드 모델은 사용자 제어 카메라 움직임에 응답하여 비디오를 청크 단위로 생성하며, 실시간 게임 시뮬레이션, 가상 장면 탐색, 임베디드 AI 학습과 같은 애플리케이션을 가능하게 합니다. 그러나 증가하는 컨텍스트 메모리, 이차 어텐션 복잡도, 반복되는 노이즈 제거 단계로 인해 긴 대화형 궤적(trajectory)으로 확장하는 것은 매우 비쌉니다. 우리는 대화형 비디오 월드 모델을 위한 학습 없는 추론 가속 프레임워크인 Light Interaction을 제안합니다. 우리의 핵심 통찰은 상호작용이 자연스럽게 궤적 의존적 적응형 연산을 가능하게 한다는 것입니다. 즉, 검색된 공간 메모리는 새로운 탐험 중에 폐기될 수 있고, 시간적 컨텍스트는 지역 잠재 역학에 따라 조정될 수 있으며, 카메라가 익숙한 영역을 재방문할 때 초기 단계 모델 출력을 재사용할 수 있습니다. 이 통찰을 바탕으로, Light Interaction은 적응형 컨텍스트 관리, 노이즈 제거 캐시 가속, 그리고 융합된 Triton 커널을 갖춘 하드웨어-소프트웨어 공동 설계된 3D 블록 희소 어텐션을 결합합니다. HY-WorldPlay 및 Matrix-Game-3.0에서 평가한 결과, Light Interaction은 모델 재학습 없이 경쟁력 있는 시각적 품질을 유지하면서 최대 2.59배의 속도 향상을 달성했습니다.

arXiv:2602.15819v2cs.CV

VideoSketcher: 비디오 모델 사전 지식을 활용한 순차적 스케치 생성

VideoSketcher: Sequential Sketch Generation Using Video Model Priors

스케치는 본질적으로 순차적입니다: 획(stroke)은 아이디어를 탐험하고 정교화하기 위해 점진적으로 그려집니다. 그러나 대부분의 생성적 접근법은 스케치를 정적 이미지로 취급하여, 창의적 탐험의 기저에 있는 시간적 과정을 무시합니다. 이러한 순차적 구조를 모델링하는 것은 여전히 어렵습니다: 기존 방법들은 다양성이 제한된 대규모 인간 그림 데이터셋에 의존하거나, 그리기 지시를 생성하기 위해 대규모 언어 모델(LLM)을 사용하는데, 이는 종종 시각적 충실도를 희생합니다. 본 논문에서는 VideoSketcher를 제안합니다. 이 방법은 사전학습된 텍스트-비디오 디퓨전 모델을 스케치 형성의 희소하고 연속적인 특성에 적응시켜 고품질의 스케치 과정을 생성합니다. 우리의 핵심 통찰은 LLM과 비디오 디퓨전 모델이 상호 보완적인 강점을 제공한다는 것입니다. LLM은 개념을 단계별 지시로 분해하는 의미론적 계획자(semantic planner)로 작용하는 반면, 비디오 디퓨전 모델은 이를 시간적으로 일관된 스케치 시퀀스로 변환하는 강력한 "렌더러" 역할을 합니다. 우리는 시간적 구조를 시각적 외관에서 분리하는 2단계 미세조정(fine-tuning) 전략을 도입합니다: 획 순서는 합성 형상 구성에서 학습되는 반면, 스타일은 단 7개의 손으로 그린 예시로부터 증류됩니다. 최소한의 지도(supervision)에도 불구하고, 우리의 방법은 지정된 그리기 순서를 충실히 따르는 다양하고 고품질의 순차적 스케치를 생성할 수 있습니다. 우리의 프레임워크는 브러시 스타일 제어와 자기회귀 생성(autoregressive generation)으로 자연스럽게 확장되어 예술적 응용을 지원합니다.

arXiv:2606.19073v1cs.CV

이미지 HOI 편집을 위한 I2V 모델 다루기: 인지 벤치마크와 에이전틱 자기 수정 프레임워크

Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework

현재 이미지 편집 방법은 정적 속성에서는 뛰어나지만 복잡한 인간-객체 상호작용(HOI)에서는 실패하며, 이는 HOI를 정적 속성과 혼동하는 기존 벤치마크가 다루지 못한 중요한 과제이다. 기존 벤치마크는 동적 상호작용의 유효성과 얽힌 인간-객체 쌍의 보존을 동시에 평가할 수 없는 전역 지표에 의존한다. 따라서 우리는 먼저 세 단계의 점진적 인지 수준을 갖춘 포괄적 벤치마크 HOI-Edit을 제안하며, 그라운딩된 인간-객체 쌍이 포함된 이미지에 대해 사고(thinking) 후 VLM Q&A를 수행함으로써 인스턴스 수준의 상호작용을 신뢰성 있게 평가하는 자동화 지표 HOI-Eval을 제공한다. 이 과제의 본질이 동적 관계의 재구성에 있음을 고려하여, 우리는 이미지-비디오(I2V) 모델을 벤치마크에 적용했고, 시간적 생성 능력 덕분에 동적 편집에 본질적으로 적합함을 확인했다. 중요한 점은, 우수한 성능을 넘어 이 능력이 "실패 과정의 재현(replay of the failure process)"을 제공하여 오류가 왜 발생하는지에 대한 독특한 진단 가능성을 제공한다는 것이다. 이에 따라 우리는 I2V 모델의 생성을 반복적으로 정제된 프롬프트를 통해 제약하여 생성된 비디오가 목표 HOI를 더 정확하게 표현하도록 하는 새로운 에이전틱 자기 수정 프레임워크 SCPE(Self-Correcting Process Editing)를 제안한다. 이러한 비디오에서 추출한 프레임이 최종 편집 결과이다. HOI-Edit에서 SCPE는 Nano Banana와 같은 최신(SOTA) 편집 모델과 상호작용 측면에서 경쟁력 있는 성능을 달성한다. 코드는 https://github.com/oceanflowlab/HOI-Edit 에서 제공된다.

arXiv:2606.18943v1cs.CV

Physics-IQ Verified

Physics-IQ Verified

비디오 생성 모델(VGMs)은 비디오 생성뿐만 아니라 월드 모델링(world modeling)을 포함한 다양한 다운스트림 태스크에 활용될 수 있는 새로운 영역이 되었습니다. 이러한 태스크를 발전시키려면 우수한 비디오 모델이 세상의 물리적 현실을 이해해야 합니다. 이러한 이해를 평가하는 것은 새로운 분야로 자리 잡았으며, 모델이 생성한 비디오와 물리적 실험의 실제 비디오를 비교하여 이를 명시적으로 정량화하는 Physics-IQ 벤치마크를 탄생시켰습니다. 본 연구에서는 Physics-IQ 벤치마크에 대한 체계적인 검토를 수행하고 그 한계점을 지적한 뒤, VGM의 물리적 이해도를 측정하는 방식을 개선하는 세 가지 해결책을 제안합니다. 구체적으로, 교란 요인(confounding factors)의 영향을 줄이기 위해 프롬프트와 정답(ground-truth)의 품질을 개선하고, 각 샘플과 지표(metric)에 동일한 가중치를 부여하는 샘플 수준 채점 시스템을 추가로 도입했습니다. 그 결과인 Physics-IQ Verified 벤치마크는 전체 샘플의 57.6%를 정제하고 34.8% 이상의 프롬프트를 개선했습니다. 6개의 이미지-투-비디오(image-to-video) 생성 모델을 사용한 비교 연구에서, 우리는 적당하지만 의미 있는 순위 변화(Kendall's $τ= 0.46$)를 관찰했습니다. 우리는 Physics-IQ Verified가 물리적으로 정확한 VGM을 향한 더 신뢰할 수 있는 신호를 제공하여 연구 커뮤니티의 발전에 기여하기를 바랍니다. 이 벤치마크의 코드는 https://github.com/google-deepmind/physics-iq-benchmark 에서 접근할 수 있습니다.

arXiv:2606.18702v1cs.CV

UniTemp: 양방향 증류를 통한 임의의 시간적 순서 비디오 생성

UniTemp: Unlocking Video Generation in Any Temporal Order via Bidirectional Distillation

자기회귀 비디오 디퓨전 모델은 긴 비디오 생성을 위한 유망한 접근 방식으로 등장했으며, 스트리밍 설정에서 강력한 성능을 달성했습니다. 그러나 기존 방법들은 순방향 시간적 생성으로 제한되어 있지만, 실용적인 비디오 생성은 종종 유연한 생성 순서를 요구합니다. 예를 들어, 역방향으로 확장하기 위해 미래 컨텍스트(context)를 조건으로 하거나, 중간 생성을 위해 과거와 미래 컨텍스트를 모두 조건으로 하는 경우가 있습니다. 우리는 임의의 시간적 방향으로 생성을 지원하는 자기회귀 모델을 학습(training)시켜 이 격차를 해소합니다. 주요 기술적 도전 과제는 비디오 디퓨전 모델에서 널리 사용되는 인과적 3D VAE에서 발생하는데, 이는 과거 컨텍스트에 엄격하게 조건화된 잠재(latent)들을 인코딩합니다. 순방향 생성에는 적합하지만, 이 인과적 구조는 생성이 역방향으로 진행될 때 블록 간 불연속성을 유발합니다. 이를 해결하기 위해 우리는 블록별 앵커 잠재(latent)를 도입하는데, 이는 역방향 생성 중 블록 경계에서 누락된 과거 컨텍스트를 복원하는 보조 잠재(latent)들의 집합입니다. 이 설계를 기반으로, 우리는 임의의 방향 비디오 생성을 위해 단일 자기회귀 학생 모델(student model)을 학습(training)시키는 양방향 증류 프레임워크인 UniTemp를 제안합니다. 추론(inference) 시간에 UniTemp는 임의의 과거 및/또는 미래 프레임을 조건으로 하여, 양방향 및 중간 생성 모두에 대한 제어 가능성을 향상시킵니다. 실험 결과, UniTemp는 순방향 전용 방법과 비교하여 짧고 긴 비디오 생성 모두에서 경쟁력 있는 성능을 유지하면서, 양방향 비디오 확장, 중간 생성, 루프 비디오 생성, 장면 전환, 시각적 스토리 생성과 같은 다양한 워크플로우를 가능하게 하는 것으로 나타났습니다. 프로젝트 웹사이트: https://lzhangbj.github.io/projects/unitemp/

arXiv:2606.18591v1cs.CV

창작 의도와 시각적 품질의 연결: 에이전트 기반 피드백 루프를 활용한 제작자 주도 순환 비디오 생성

Bridging Creative Intent and Visual Quality: Creator-Driven Recurrent Video Generation with Agentic Feedback Loops

생성형 AI는 콘텐츠 제작을 점점 더 쉽게 만들었지만, 많은 AI 생성 비디오는 서사적 일관성과 창작 방향이 부족하며, 이러한 문제는 영상 길이가 길어질수록 더 심각해집니다. 코딩은 신뢰할 수 있는 피드백과 순환적 자기 개선(recurrent self-improvement) 같은 기술의 혜택을 받지만, 비디오 생성은 줄거리, 장면, 서사에 대한 주관적 피드백을 요구하므로, 인간의 창작 방향을 통합하는 접근 방식이 자연스럽게 요구됩니다. 우리는 CHIEF라는 인간-AI 공동 창작(human-AI co-creation) 비디오 생성 프레임워크를 소개합니다. CHIEF는 제작자를 인간 개입형(human-in-the-loop) 반복적 비디오 정제(iterative video refinement) 과정의 중심에 두고, 자동 주관적 피드백을 통해 이를 지원합니다. 제작자는 각 반복(iteration)을 주도하여 자신의 창작 방향을 반영하고, 수정 사항은 특화된 정제 에이전트(refiner agent)가 통합합니다. 피드백 루프는 생성된 비디오를 시청하고 관객 관점에서 주관적 비평을 생성하는 페르소나 조건부 멀티모달 대규모 언어 모델(LLM)에 의해 생성되며, 이는 자기 평가만으로는 포착할 수 없는 피드백을 제공합니다. 제안된 프레임워크의 효과를 검증하기 위해, 우리는 영화 제작 경험이 없는 고등학생 및 대학생과 협력하여 1분짜리 짧은 비디오부터 복잡한 줄거리를 가진 완성된 10분짜리 단편 영화에 이르기까지 다양한 비디오를 제작했습니다.

arXiv:2606.18558v1cs.CV

MolmoMotion: 언어 지시를 통한 3D 점 궤적 예측

MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction

모션 예측은 시각 지능의 핵심입니다: 에이전트는 행동을 계획하고, 물리적 상호작용을 추론하며, 현실적인 미래를 합성하기 위해 객체가 어떻게 움직일지 예측해야 합니다. 우리는 월드 좌표계의 3D 점이 클래스 불특정, 시점 안정적, 컴팩트하며 다운스트림 태스크에 직접적으로 유용한 일반적인 표현을 제공한다고 주장합니다. 우리는 목표 조건부 3D 점 모션 예측 작업을 정의합니다: 짧은 비주얼 히스토리, 관심 객체 위의 3D 쿼리 포인트 집합, 의도된 목표에 대한 언어 설명이 주어지면, 모델은 각 점의 미래 3D 궤적을 예측합니다. 우리는 이 작업을 대규모로 연구하기 위한 풀 스택을 소개합니다: (1) MolmoMotion-1M은 116만 개의 제약 없는 비디오에서 주석이 달린 행동 설명 및 객체 기반 3D 점 궤적의 대규모 데이터셋입니다; (2) PointMotionBench는 111개의 객체 카테고리와 61개의 모션 유형에 걸친 인간 검증 벤치마크입니다; (3) MolmoMotion은 자기회귀 좌표 예측과 플로우 매칭 기반 궤적 생성을 모두 지원하는 일반적인 모션 예측 모델입니다. MolmoMotion은 다양한 언어 명령어로 다양한 모션 패턴을 정확하게 예측하며, PointMotionBench에서 기존 모션 예측 베이스라인을 크게 능가합니다. 마지막으로, 우리는 학습된 3D 모션 사전(prior)이 다운스트림 애플리케이션으로 잘 전이됨을 보여줍니다: 이는 로봇 조작을 위한 학습 효율성과 일반화를 개선하며, 예측된 궤적은 생성 모델이 더 현실적인 객체 모션으로 비디오를 합성할 수 있도록 효과적인 모션 가이던스를 제공합니다.

arXiv:2606.17030v3cs.CV

Qwen-RobotWorld 기술 보고서: 언어 조건부 비디오 생성을 통한 구현형 세계 모델링 통합

Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation

우리는 구현형 지능(embodied intelligence)을 위한 언어 조건부 비디오 월드 모델인 Qwen-RobotWorld를 소개합니다. 자연어를 통합된 행동 인터페이스로 활용하여, 로봇 조작, 자율 주행, 실내 내비게이션, 인간-로봇 전이(human-to-robot transfer) 영역에 걸쳐 현재 관찰로부터 물리적 기반의 미래 시각적 궤적을 예측합니다. 이러한 통합된 접근 방식은 정책 학습 증강을 위한 합성 데이터 생성, 정책 평가를 위한 확장 가능한 가상 환경, 하위 단계 로봇 제어를 위한 언어 기반 계획 신호라는 세 가지 유망한 응용 방향을 제공합니다. 이는 세 가지 설계 요소를 통해 달성됩니다: a) MLLM 행동 인코딩을 갖춘 이중 스트림 MMDiT(Double-Stream MMDiT)로, 60층 이중 스트림 디퓨전 트랜스포머가 층별 결합 어텐션을 통해 고정된 Qwen2.5-VL 의미론과 비디오-VAE 잠재를 결합합니다; b) 구현형 월드 지식(EWK), 20개 이상의 구현체와 500개 이상의 행동 카테고리에 걸친 행동-언어 매핑을 포함하는 860만 개의 비디오-텍스트 말뭉치(2억 프레임 이상); c) General+Expert 점진적 커리큘럼, 공유된 언어 인터페이스 하에서 먼저 일반적인 시각적 사전 지식을 학습한 후 구현형 특화를 주입하는 2단계 학습 전략입니다. 광범위한 실험 결과는 강력한 경쟁력을 보여줍니다: EWMBench와 DreamGen Bench에서 종합 1위를 차지했으며, WorldModelBench와 PBench에서는 모든 오픈 소스 모델을 능가했습니다. RoboTwin-IF 벤치마크에 대한 추가적인 제로샷 분석은 견고한 일반화와 다중 뷰 일관성을 추가로 뒷받침합니다.

arXiv:2606.13768v2cs.CV

CineOrchestra: 시네마틱 비디오 생성을 위한 통합 엔티티 중심 컨디셔닝

CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation

시네마틱 비디오는 특정 순간에 행동하거나 상호작용하는 여러 주체를 묘사하며, 의도적인 카메라 움직임으로 촬영되고 샷 전환(shot transitions)을 통해 연결됩니다. 이러한 요소들은 현재의 텍스트-투-비디오(text-to-video) 모델을 넘어서는 수준의 미세한 제어(fine-grained control)를 요구합니다. 기존 연구는 다중 주체 개인화, 시간적 제어, 다중 샷 합성, 또는 카메라 제어와 같이 각 축(axis)을 개별적으로 다루었으며, 네 가지를 모두 통합적으로 결합한 이전 프레임워크는 없습니다. 우리는 주체, 이벤트, 카메라, 샷 전환을 동시에 제어하는 통합 비디오 디퓨전 모델인 CineOrchestra를 제안합니다. 우리의 핵심 통찰은 이러한 이질적인 시네마틱 요소들이 기본 구조를 공유한다는 것입니다. 즉, 각 요소는 특정 시간 간격(temporal interval) 동안 작용하는 엔티티(entity)이므로, 시각적 엔티티를 위한 참조 이미지로 보강된 엔티티 중심 컨디셔닝 프리미티브(primitives)의 하나의 공유 구조를 통해 모두 표현될 수 있습니다. 이 공식화를 통해 아키텍처적 문제를 단일 위치 인코딩(positional encoding) 문제로 축소하였으며, 이를 매개변수가 없는 두 개의 조정된 회전 임베딩(rotary embeddings)으로 해결했습니다: (a) 지속 시간이 급격하게 변하는 이벤트 간에 일관된 어텐션(attention) 동작을 생성하는 간격 샘플링 시간적 RoPE, (b) 엔티티별 조건을 명확히 하고 각 조건을 해당하는 시공간 영역으로 라우팅하는 2D 엔티티-시간 크로스 어텐션 RoPE. 두 개의 새로운 벤치마크(benchmarks)에서 CineOrchestra는 밀집 캡션(dense caption) 추종 및 샷 전환 타이밍 측면에서 6개의 축별 전문가(per-axis specialists)를 능가했으며, 쌍대 비교 사용자 연구(pairwise user study) 및 구성 요소 제거 실험(component ablations)에서도 일관된 이득을 보였습니다. 프로젝트 페이지: https://snap-research.github.io/CineOrchestra

arXiv:2606.13376v2cs.CV

MoVerse: 파노라마 가우시안 스캐폴드를 이용한 실시간 비디오 월드 모델링

MoVerse: Real-Time Video World Modeling with Panoramic Gaussian Scaffold

우리는 단일 협시야각(narrow-field-of-view) 이미지로부터 인터랙티브하게 탐색 가능한 장면을 생성하는 실시간 비디오 월드 모델 MoVerse를 제안한다. 입력 이미지가 환경의 극히 일부만을 관찰하는 반면, 인터랙티브한 로밍에는 완전한 주변 세계, 지속적인 기하 구조, 제어 가능한 카메라 모션, 그리고 시간적으로 일관된 고품질 관측이 요구되므로 이 설정은 도전적이다. MoVerse는 세계 구성(world construction)과 관측 렌더링(observation rendering)을 분리함으로써 이 문제를 해결한다. 먼저 토폴로지 인식 확산(topology-aware diffusion)을 통해 입력을 중력 정렬된 360° 파노라마로 확장하여 3D 추론 이전에 누락된 시야각을 보완한다. 이후 파노라마 기하 인식 잔차 예측(panoramic geometry-aware residual prediction)을 사용하여 파노라마를 지속적인 3D 가우시안 스캐폴드로 리프팅하여 밀도 높고 직접 렌더링 가능한 공간 메모리를 생성한다. 마지막으로 가우시안 조건부 비디오 렌더러가 사용자 지정 카메라 궤적을 따라 스캐폴드 렌더링을 사실적인 비디오로 변환한다. 이 렌더러를 인터랙션에 실용적으로 만들기 위해, 고품질 조건부 렌더링을 위한 양방향 확산 교사 모델(bidirectional diffusion teacher)을 학습시키고 이를 유계 지연 스트리밍(bounded-latency streaming)을 위한 인과적 자기회귀 학생 모델(causal autoregressive student)로 지식 증류한다. 이 설계는 명시적 3D 표현의 제어 가능성 및 장거리 일관성과 생성 비디오 모델의 지각적 품질을 결합한다. MoVerse는 단일 NVIDIA RTX 4090 GPU에서 8 FPS의 실시간 장면 로밍을 지원하며, 인터랙티브 비디오 출력을 갖춘 단일 이미지 기반 세계 생성을 향한 실용적인 경로를 제시한다.

arXiv:2606.06361v2cs.CV

2단계의 물리학: 시각적 정제가 모션 사전을 지우기 전에 잠금하기

Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them

이미지-비디오 변환 디퓨전 모델은 입력 이미지를 활용하여 시각적으로 놀라운 콘텐츠를 생성하지만, 종종 물리 법칙을 위반하는 모션을 생성합니다. 우리는 놀라운 사실을 발견했습니다: 동일한 모델에서 2단계 생성은 종종 50단계 출력보다 더 나은 물리적 일관성을 보입니다. 스펙트럼 분석을 통해 우리는 이것이 노이즈 제거(denoising) 중 위상(phase) 침식 때문임을 추적했습니다. 위상은 2단계에서 50단계로 갈 때 약 18% 감소하여 현저히 저하되는 반면, 크기(magnitude)는 상대적으로 안정적으로 유지됩니다. 이러한 통찰을 바탕으로, 우리는 노이즈 제거 궤적 전체에 걸쳐 소수 단계 추론(few-step inference)의 유효한 모션 사전(motion priors)을 보존하는 학습 불필요한(training-free) 프레임워크인 PhaseLock을 제안합니다. 물리적 일관성을 위해 전체 단계 추론(full-step inference)에 의존하는 대신, PhaseLock은 단 2단계에서 모션 사전을 추출하고 Latent Delta Guidance를 통해 고충실도 생성에 이를 적용합니다. 우리의 접근 방식은 위상 저하를 효과적으로 완화하여, 다양한 모델에서 물리적 일관성을 평균 6.2점 향상시키면서도 시각적 충실도를 대부분 유지합니다. 이는 무시할 수 있는 오버헤드(시간 $1.06\times$, 메모리 $1.02\times$)와 비싼 외부 가이던스 방법(시간 $\sim5\times$)에 대한 의존도 감소를 달성했습니다. 프로젝트 페이지: https://dnwjddl.github.io/phaselock

arXiv:2605.21431v2cs.CV

iTryOn: 공간-의미적 가이던스를 통한 대화형 비디오 가상 피팅 마스터하기

iTryOn: Mastering Interactive Video Virtual Try-On with Spatial-Semantic Guidance

비디오 가상 피팅(VVT)은 비디오 속 인물의 의류를 새로운 의류로 매끄럽게 교체하는 것을 목표로 합니다. 기존 방법들은 시간적 일관성(temporal consistency) 유지에 있어 상당한 발전을 이루었지만, 주로 모델이 단순히 의류를 전시하는 비대화형 시나리오에 국한되어 있습니다. 이러한 한계는 실제 의류 프레젠테이션의 중요한 측면인 능동적인 인간-의류 상호작용을 간과합니다. 이러한 격차를 해소하기 위해, 우리는 비디오 속 피사체가 의류와 능동적으로 상호작용하는 새롭고 도전적인 과제인 대화형 비디오 가상 피팅(Interactive VVT)을 소개하고 정형화합니다. 이 과제는 단순한 텍스처 보존을 넘어선 독특한 도전 과제를 제기하는데, 여기에는 (1) 표준 포즈(pose) 정보로부터 상호작용의 의미적 모호성을 해결하는 것과 (2) 상호작용 순간이 드물고 짧은 비디오에서 복잡한 의류 변형(deformation)을 학습하는 것이 포함됩니다. 이러한 도전 과제를 해결하기 위해, 우리는 대규모 비디오 디퓨전 트랜스포머(video diffusion Transformer)를 기반으로 구축된 새로운 프레임워크인 iTryOn을 제안합니다. iTryOn은 복잡한 역학(dynamics) 생성을 가이드하기 위해 다단계 상호작용 주입 메커니즘을 개척합니다. 공간적 레벨에서, 우리는 정확한 손-의류 접촉을 위한 세밀한 가이던스를 제공하여 공간적 모호성을 효과적으로 해결하는 의류 비의존적(garment-agnostic) 3D 손 사전(prior)을 도입합니다. 의미적 레벨에서, iTryOn은 전체 컨텍스트를 위한 전역 캡션과 국지적 상호작용을 위한 타임스탬프가 찍힌 액션 캡션을 활용하며, 이는 우리의 새로운 액션 인식 회전 위치 임베딩(Action-aware Rotational Position Embedding, A-RoPE)을 통해 동기화됩니다. 광범위한 실험을 통해 iTryOn이 기존 VVT 벤치마크에서 최첨단(SOTA) 성능을 달성할 뿐만 아니라, 새로운 대화형 설정에서도 압도적인 우위를 점함을 입증합니다. 이는 더욱 동적이고 제어 가능한 가상 피팅 경험을 향한 중요한 발걸음을 의미합니다.

arXiv:2605.15824v2cs.CV

FashionChameleon: 실시간 및 대화형 인간-의류 비디오 맞춤화

FashionChameleon: Towards Real-Time and Interactive Human-Garment Video Customization

인간 중심 비디오 맞춤화, 특히 의류 수준에서는 상당한 상업적 가치를 보여주었습니다. 그러나 기존 접근 방식은 전자상거래 및 콘텐츠 생성과 같은 응용 분야에 필수적인 저지연 및 대화형 의류 제어를 지원할 수 없습니다. 본 논문은 단일 의류 비디오 데이터만을 사용하여 모션 일관성을 유지하면서 대화형 다중 의류 비디오 맞춤화를 달성하는 방법을 연구합니다. 우리는 사용자가 생성 중에 의류를 대화형으로 전환할 수 있는 자기회귀 비디오 생성에서 인간-의류 맞춤화를 위한 실시간 및 대화형 프레임워크인 FashionChameleon을 제시합니다. FashionChameleon은 세 가지 핵심 기술로 구성됩니다: (i) 다중 의류 비디오 데이터에서 학습하는 대신, 단일 참조-의류 쌍에서 문맥 내 학습(In-Context Learning)을 사용하여 교사 모델(Teacher Model)을 학습시킵니다. 이미지-투-비디오 학습 패러다임을 유지하면서 참조 이미지와 의류 이미지 간의 불일치를 강제함으로써, 모델이 단일 의류 전환 중에 일관성을 암묵적으로 보존하도록 유도합니다. (ii) 생성 중 일관성과 효율성을 달성하기 위해, 문맥 내 교사 강제(in-context teacher forcing)로 모델을 파인튜닝하고 그래디언트 재가중 분포 매칭 증류(gradient-reweighted distribution matching distillation)를 통해 외삽 일관성을 개선하는 문맥 내 학습(In-Context Learning)을 통한 스트리밍 증류(Streaming Distillation)를 도입합니다. (iii) 대화형 다중 의류 비디오 맞춤화를 위해 모델을 확장하기 위해, 의류 KV 새로고침, 과거 KV 회수, 참조 KV 분리를 포함하여 의류 전환을 달성하면서 모션 일관성을 유지하는 학습 없는 KV 캐시 재예약(Training-Free KV Cache Rescheduling)을 제안합니다. 우리의 FashionChameleon은 단일 GPU에서 23.8 FPS의 실시간 생성을 달성하여 기존 베이스라인보다 30-180배 더 빠르면서도, 독특하게 대화형 맞춤화와 일관된 롱 비디오 외삽을 지원합니다.

arXiv:2502.07531v5cs.CV

VidCRAFT3: 이미지-투-비디오 생성을 위한 카메라, 객체, 조명 제어

VidCRAFT3: Camera, Object, and Lighting Control for Image-to-Video Generation

제어 가능한 이미지-투-비디오(I2V) 생성은 사용자 지정 제어 신호에 의해 안내되는 참조 이미지를 일관된 비디오로 변환합니다. 고품질 생성을 위해 카메라 움직임, 객체 움직임, 조명에 대한 정밀한 제어가 필수적이지만, 기존 방법들은 이러한 요소들을 종종 독립적으로 처리합니다. 이는 동적 장면에서 시점, 기하학, 조명 간의 물리적 결합을 간과하게 하여, 동시 변화 시 일치하지 않는 그림자나 원근 드리프트와 같은 시각적 불일치를 초래합니다. 우리는 기하학, 움직임, 조명 사이의 요소 간 상호작용을 명시적으로 모델링하여 카메라 움직임, 객체 움직임, 조명 방향에 대한 독립적이고 통합적인 제어를 모두 가능하게 하는 통합적이고 유연한 I2V 프레임워크인 VidCRAFT3를 제안합니다. Image2Cloud는 정확한 카메라 움직임 제어를 위해 명시적인 3D 기하학적 사전(priors)을 제공합니다. ObjMotionNet은 희소 객체 궤적을 멀티스케일 움직임 특징으로 인코딩하여 사실적인 객체 움직임을 안내합니다. Spatial Triple-Attention 트랜스포머는 조명 크로스 어텐션(cross-attention)을 통해 조명 방향을 통합하여 일관된 재조명을 수행합니다. 통합 주석 데이터의 부족을 해결하기 위해, 우리는 정확한 프레임별 조명 방향 주석이 포함된 VideoLightingDirection (VLD) 데이터셋을 구축하고, 완전한 통합 주석 없이도 강건한 학습을 가능하게 하는 3단계 점진적 학습 전략을 도입했습니다. 광범위한 실험을 통해 VidCRAFT3가 다양한 시나리오에서 제어 정밀도와 시각적 일관성 측면에서 최첨단(SOTA) 성능을 달성함을 입증했습니다.

arXiv:2606.18180v1cs.CV

EgoCS-400K: 월드 모델을 위한 1인칭 게임플레이 데이터셋

EgoCS-400K: An Egocentric Gameplay Dataset for World Models

비디오 생성에서 인터랙티브 월드 모델링으로의 전환은 데이터에 새로운 요구사항을 제기합니다: 캡션이 달린 비디오를 넘어, 월드 모델은 미래 장면 변화를 주도하는 행동, 카메라 움직임, 상태, 이벤트에 기반한 시간적으로 정렬된 비디오-행동-언어 궤적이 필요합니다. 그러나 이러한 데이터를 대규모로 확보하는 것은 어렵습니다. 웹 비디오 데이터셋은 광범위한 시각적 범위를 제공하지만 실행 가능한 행동과 신뢰할 수 있는 상태가 부족하고, 로봇 데이터셋은 행동과 상태에 대한 지도를 제공하지만 비용이 많이 들고 장면 다양성이 제한적이며, 기존 시뮬레이터는 대규모의 인간 주도 상호작용 궤적이 부족한 경우가 많습니다. 본 논문에서는 월드 모델을 위한 대규모의 리플레이 기반 1인칭 카운터 스트라이크(Counter-Strike) 데이터셋인 EgoCS-400K를 소개합니다. 이는 인간 게임플레이 궤적을 보존하고 파싱, 리플레이, 렌더링, 시간 정렬을 가능하게 하는 공개된 프로 CS 및 CS2 경기 데모를 기반으로 구축되었습니다. 우리는 플레이어 상태, 시야 방향, 이동, 키보드/버튼 입력, 시야각 변화, 무기 사용, 게임 이벤트 및 라운드 수준 문맥을 추출하고, 동일한 궤적에서 깨끗한 1인칭 비디오를 렌더링합니다. EgoCS-400K는 1,000개 이상의 매치와 40,000개의 라운드에서 400,000개 이상의 1인칭 비디오와 10,000시간 이상의 게임플레이를 포함하며, 13개의 맵과 라운드당 10개의 플레이어 시점을 포괄합니다. 이 데이터셋은 행동 조건부 미래 예측, 상태 및 이벤트 인식 장면 롤아웃(rollout), 리플레이 기반 캡셔닝, 에이전트(agent) 1인칭 행동 이해를 포함한 다양한 인터랙티브 시각 모델링 작업을 지원합니다. 시각적 관찰을 인간 행동, 카메라 움직임, 게임 상태, 이벤트와 대규모로 연결함으로써, EgoCS-400K는 수동적인 웹 비디오, 제어 가능한 게임 시뮬레이션, 비용이 많이 드는 실제 임베디드(embodied) 데이터 사이의 실용적인 가교 역할을 합니다.

arXiv:2606.17800v1cs.CV

MaineCoon: 실시간 오디오-비주얼 소셜 월드 모델 지향

MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

전 세계 비디오 콘텐츠의 대다수가 대화형 사회적 목적을 위해 소셜 플랫폼에서 소비됨에 따라, 소셜 월드를 위해 구축된 비디오 생성 모델은 중요하지만 이전 연구에서 대부분 간과되었습니다. 본 연구에서는 소셜 월드 모델의 위치를 정의하고, 이 목표를 향한 첫 단계로 프로토타입 모델을 구축합니다. 이전 월드 모델들은 물리적 환경이나 게임 월드 탐험을 성공적으로 시뮬레이션하지만, 인간 중심의 사회적 역학(dynamics)에서는 근본적으로 분리되어 있습니다. 소셜 월드 모델로 향하는 첫 단계로서 이 격차를 해소하기 위해, 우리는 22B 파라미터를 가진 최초의 실시간 오디오-비주얼 자기회귀 모델인 MaineCoon을 제시합니다. 이 모델은 단일 GPU에서 최대 47.5 FPS라는 경신적인 프레임 레이트로 실시간 스트리밍 생성 및 1초 미만의 상호작용이 가능합니다. 우리가 아는 한, MaineCoon은 소셜 대화형 애플리케이션을 위해 특별히 최적화된 최초의 실시간 오디오-비주얼 생성 모델이기도 합니다. 효율적이고 안정적인 학습을 가능하게 하기 위해, 우리는 MaineCoon에 자기 리샘플링(self-resampling), 교차 모드 표현 정렬(cross-modal representation alignment), 도메인 인식 선호 최적화(domain-aware preference optimization), 강화된 온라인 정책 증류(reinforced online-policy distillation, ROPD)를 포함한 여러 새로운 기법을 도입했습니다. 또한, 우리는 에이전트 캐시 관리 및 프롬프트 계획(prompt planning)을 통해 드리프트(drift)를 완화하면서 천 초(thousand-second) 규모 또는 그 이상의 생성을 지원하는 최초의 에이전트형 스트리밍 추론 프레임워크를 설계했습니다. 이러한 혁신은 실시간 추론 성능을 최적화하는 동시에 학습 속도를 크게 가속화합니다. 우리는 이 작업이 고품질, 저지연, 장기(long-horizon) 오디오-비주얼 자기회귀 모델에 대한 새로운 최신 기술(SOTA) 성능 벤치마크를 설정할 뿐만 아니라, 차세대 AI 네이티브 소셜 플랫폼에 필요한 패러다임 전환을 제시한다고 믿습니다.