이미지 조건 비디오 확산 모델은 인상적인 시각적 사실감을 달성하지만, 종종 모션 충실도가 약화되는 문제를 겪는다. 예를 들어 모션 역학이 감소하거나 장기적 시간적 일관성이 저하되는 등의 현상이 있으며, 특히 미세조정 이후에 두드러진다. 우리는 사후 학습 단계에서 비디오 확산 모델의 모션 정렬을 연구한다. 이를 해결하기 위해 픽셀 플럭스(pixel flux) 역학에 기반한 픽셀-모션 보상을 도입하여 순간적 및 장기적 모션 일관성을 모두 포착한다. 또한 지도 미세조정과 이점 가중 미세조정(advantage-weighted fine-tuning)을 통합하는 확장 가능한 보상 기반 프레임워크인 Smooth Hybrid Fine-tuning(SHIFT)을 제안한다. 새로운 적대적 이점(adversarial advantages) 덕분에 SHIFT는 수렴 속도를 개선하고 보상 해킹(reward hacking)을 완화한다. 실험 결과, 본 접근법은 현대 비디오 확산 모델의 지도 미세조정에서 발생하는 동적 정도(dynamic-degree) 붕괴를 효율적으로 해결함을 보여준다. 프로젝트 페이지: https://xiye20.github.io/projects/SHIFT/.
변화하는 기상 조건 하에서 위성 관측으로 지구 표면 역학을 예측하는 과제를 부분 관측 기상 구동 세계 모델링(world modeling)으로 정식화하고, 기후학적 기준선·기상 이상·누적 물리 스트레스를 별도 경로로 조건화하는 다중분광 EO 예측용 비디오 확산 트랜스포머 EO-WM을 제안한다. Extreme Summer와 Seasonal Matched-Pair 진단 벤치마크에서 예측 NDVI 감소 진폭 오류를 상대 5.63% 줄이고 방향 적중률을 7.80% 개선하며, 표준 픽셀 수준 지표에서도 경쟁력을 유지한다.
검색-증강 생성(RAG)을 활용해 비디오 생성 모델의 물리 인식을 강화하는 PhysRAG 파이프라인을 제안하며, WISA-80K 데이터셋에서 2단계 필터링으로 추출한 고품질 비디오 7K개를 기반으로 학습 가능한 쿼리를 통해 물리 지식을 비디오 diffusion 모델에 주입한다. PhyGenBench와 VBench 벤치마크에서 시각적 품질과 물리 규칙 준수 모두 최첨단 성능을 달성하며 Pika, Kling 등 기존 모델을 능가했다.
비디오 확산 모델(VDMs)의 추론 속도를 높이기 위해, NaviCache는 feature 진화를 관성 항법 시스템(INS) 문제로 재정의하여 오프라인 보정 없이 테스트 타임에 자기 보정이 가능한 캐싱 프레임워크를 제안한다. 이중 상태 추정 엔진과 불확실성 인식 측정 갱신 메커니즘을 통해 계산 건너뛰기 오차를 이론적으로 한정하며, HunyuanVideo, Wan, Open-Sora 시리즈 실험에서 기존 방법 대비 우수한 성능을 달성했다.
현대의 비디오 확산 모델은 스케일링을 통해 더 높은 생성 품질을 달성하지만, 이는 추론 비용도 함께 증가시킨다. 많은 가속 방법이 제안되었음에도 불구하고, 핵심 과제는 가장 효과적인 가속 전략이 인스턴스마다 고도로 특이적이라는 점이다. 특정 모델, 하드웨어, 추론 구성의 조합에서 잘 작동하는 방법이 다른 조합에서는 효과적이지 않은 경우가 많다. 모델마다 아키텍처, 수치적 민감도, 어텐션 집중 패턴이 다르며, 추론 설정은 공간적·시간적 해상도와 비디오 길이에 따라 다르고, 하드웨어 플랫폼은 메모리 계층 구조, 지원하는 수치 형식, 커널 처리량이 서로 다르다. 이러한 요소들이 방대한 튜닝 공간을 형성하여 수동 성능 엔지니어링을 비용이 높게 만든다. 우리는 비디오 확산 모델을 위한 에이전트 기반, 네이티브, 학습 불필요(training-free) 가속 프레임워크인 Sol Video Inference Engine을 제안한다. 이 프레임워크는 캐시, 희소 어텐션(sparse attention), 토큰 가지치기, 양자화, 커널 융합이라는 다섯 가지 광범위하게 적용 가능한 기법을 인스턴스별 최적화를 위한 에이전트 기반 가속 스택으로 구성한다. 모델, 하드웨어 플랫폼, 서빙 구성으로 정의된 구체적인 배포 대상에 대해, 병렬 스킬 에이전트들이 각 기법의 구현을 최적화하고, 에이전트 통합기(agent integrator)가 이를 글로벌 가속 스택으로 합성하며, 사람 검증자가 생성 품질에 대한 피드백을 제공한다. 우리는 이 워크플로를 크기와 아키텍처가 서로 다른 세 가지 비디오 모델, 즉 64B Cosmos3-Super, 22B LTX-2.3, 2B SANA-Video에 적용하였다. 최소한의 인력으로 풀스택이 종단 간(end-to-end) 2배 이상의 가속을 달성하면서 VBench 품질을 거의 손실 없이 유지함으로써, 비디오 확산 가속을 위한 에이전트 프레임워크의 효과를 입증하였다.
최근 연구는 다단계 비디오 디퓨전 모델을 효율적인 소수 단계(few-step) 학생 모델로 증류하는 데 있어 유망한 결과를 보여주었습니다. 그중 Distribution Matching Distillation (DMD)와 그 후속작인 DMD2는 우수한 생성 품질과 빠른 수렴을 달성했습니다. 그러나 역 Kullback--Leibler (KL) 목적함수의 특성상, 이러한 방법들은 샘플 다양성의 현저한 감소와 실제 비디오 외관에서 벗어난 눈에 띄는 과포화(over-saturated) 출력이라는 두 가지 지속적인 실패 모드를 보입니다. 본 연구에서는 단 한 줄의 코드 변경만으로 DMD의 다양성과 충실도를 복원하는 간단한 사후 학습(post-training) 프레임워크인 Data-Forcing Distillation (DFD)를 제안합니다. 이 방법의 핵심은 학생 모델을 실제 데이터 분포로 유도하는 교사 점수 불일치(teacher score discrepancy)로, 학생 모델을 누락된 모드로 끌어당겨 모드 붕괴(mode collapse)를 완화하고 실제 데이터에 없는 문제가 되는 모드에서 멀어지게 하여 과포화를 방지합니다. 우리는 프레임워크에 대한 심층적인 이론적 분석을 제공하고 텍스트-투-비디오(text-to-video), 이미지-투-비디오(image-to-video), 자기회귀 비디오 생성에서 우리의 접근 방식을 검증합니다. 단 100~300단계의 파인튜닝만으로 DFD는 Wan2.1-1.3B 및 Cosmos-Predict2.5-2B 모델 모두에서 다양성과 충실도를 효과적으로 복원하며, 비디오 역학과 외관을 훨씬 더 우수하게 만들어 과포화 아티팩트를 해결하고 교사 모델(teacher model)보다도 뛰어난 성능을 보입니다.
제어 가능한 비디오 생성은 카메라와 피사체를 독립적으로 제어할 수 있어야 하지만, 2D 조건화는 둘을 얽게 만든다. 카메라와 객체에 의해 유발된 광류(optical flow)는 동일한 역깊이(1/Z) 스케일링을 공유하며, 이미지 증거만으로는 분리할 수 없다. 우리는 먼저 이러한 얽힘은 구조적이 아니라 표현상의 문제임을 — 2D 카메라/객체 분리가 식별 불가능한 역문제라는 점을 통해 — 증명하고, 따라서 분리 문제를 연산자 설계의 문제로 재구성한다. 이를 어텐션 연산자 수준에서 해결한다. OrthoMotion은 카메라 움직임을 기하 채널 — 로터리 위치 임베딩(RoPE) 위상의 노름 보존 회전 — 으로, 피사체 움직임을 의미 채널 — 교차 어텐션에서의 게이트된 값 주입 — 으로 라우팅한다. 이 하위 연산자들은 대수적으로 상보적 — 토큰에 대한 아핀 작용의 회전 대 변환 — 이므로, 경량 분리 정규화项가 두 응답 부공간의 직교성을 확실히 유도하여 두 제어가 서로 간섭하지 않게 한다. 우리가 아는 한 OrthoMotion은 분리가 창발적으로 나타나기를 기대하는 대신 설계상 보장하는 최초의 방법이다. 새로운 Cross-Talk Error(CTE) 지표로 교차 간섭(cross-talk)을 정량화하면서, 교차 간섭을 2.4배 이상 줄이고 충실도 저하 없이 카메라와 피사체 정확도 모두에서 최신(state-of-the-art) 수준을 달성하며, 다양한 백본(backbone)에 일반화된다.
최근 영상 생성의 발전으로 분 단위 합성이 가능해졌지만, 오류 누적, 속성 드리프트(attribute drift), 장편 영상 데이터의 제한적 가용성으로 인해 긴 영상 생성은 여전히 어렵다. 본 논문에서는 이러한 문제 해결에 초점을 맞춘 무한 길이 영상 생성 프레임워크를 제안하며, 고품질·역동적·정체성 일관성을 갖춘 단일 샷(single-shot) 장편 영상을 생성한다. 먼저 대규모 단편 영상 데이터로 확산 모델(diffusion model)을 영상 연장 모델로 파인튜닝하여 시간적으로 일관된 클립을 자기회귀적으로 생성한다. 대규모 언어 모델(LLM)의 성공에 영감을 받아, 클립 간 인과적(causal) 어텐션 계산을 도입하여 장편 영상 데이터로 이 모델을 추가 파인튜닝한다. 이를 통해 한 클립(단편 영상) 내 토큰은 양방향 어텐션으로, 클립 간 토큰은 단방향 어텐션으로 계산된다. 이 설계는 현대 확산 모델의 강점을 활용하면서 장기 문맥 정보를 보존하여 오류 누적과 속성 드리프트를 효과적으로 완화한다. 추론 시 메모리 효율을 위해 키-값(KV) 캐싱 메커니즘을 도입하여 KV 메모리를 일정하게 유지한다. 또한 오류 누적을 더 억제하기 위해 절단 보정 흐름(truncation-rectified flow, T-RFlow) 기법을 제안한다. 실험 결과는 제안 방법의 효과를 보여준다. 본 프레임워크는 사실적이고 일관된 분 단위 영상 합성의 새로운 벤치마크를 제시한다.
비디오 확산 모델의 소수 스텝 지식 증류(distillation)는 실제 응용에서의 효율적 배포에 대한 긴급한 수요에 힘입어 상당한 주목을 받고 있다. 그러나 주류 패러다임인 분포 매칭 증류(Distribution Matching Distillation, DMD)는 제한된 NFE(함수 평가 횟수) 예산 하에서 성능이 저하되는 경향이 있으며, 비디오 생성에서는 레이아웃 불안정, 과포화(oversaturation), 모션 다이내믹스 붕괴로 나타난다. 우리는 이 실패를 구조적 한계로 귀인한다. 표준 DMD는 좌표별 그래디언트를 갖는 샘플 내(intra-sample) 분포 매칭 목적 함수이므로, 배치 요소들 또는 시간 프레임 간 관계적 기하학에 대한 명시적 제약을 부과하지 않아 근본 코퓰러(copula)를 거의 규제하지 못한다. 역 KL(reverse-KL) 목적 함수의 모드 추구(mode-seeking) 성향과 결합되어, 이러한 관계적 가이던스의 부재는 DMD가 소수 스텝 영역에서 국소 최적해로 붕괴하기 쉽게 만든다. 이 통찰에 영감받아, 우리는 동결된 교사 모델과 온라인 fake 모델이 이미 생성한 score 추정값을 재사용하여 샘플 및 프레임 간 쌍wise 관계 행렬을 구성하는 경량 관계 정규화(relational regularizer)인 코퓰러 인식 DMD(Copula-aware DMD, CoDMD)를 제안한다. 이는 추가 네트워크, 데이터셋, 또는 샘플링 궤적 없이 보조 분포 목적 함수를 통해 매칭된다. 1.3B 및 14B 규모의 Wan-2.1-T2V 모델 계열에서 CoDMD는 50스텝 교사 모델을 4스텝 학생 모델로 증류하여, 약 25배 속도 향상을 달성하면서 VBench 점수 84.46 및 84.87을 기록하여, 기존 궤적 기반(rCM 82.81 및 84.05) 및 분포 기반(DMD 83.38 및 83.81) 방법을 능가한다.
자기회귀 비디오 디퓨전 모델은 긴 비디오 생성을 위한 유망한 접근 방식으로 등장했으며, 스트리밍 설정에서 강력한 성능을 달성했습니다. 그러나 기존 방법들은 순방향 시간적 생성으로 제한되어 있지만, 실용적인 비디오 생성은 종종 유연한 생성 순서를 요구합니다. 예를 들어, 역방향으로 확장하기 위해 미래 컨텍스트(context)를 조건으로 하거나, 중간 생성을 위해 과거와 미래 컨텍스트를 모두 조건으로 하는 경우가 있습니다. 우리는 임의의 시간적 방향으로 생성을 지원하는 자기회귀 모델을 학습(training)시켜 이 격차를 해소합니다. 주요 기술적 도전 과제는 비디오 디퓨전 모델에서 널리 사용되는 인과적 3D VAE에서 발생하는데, 이는 과거 컨텍스트에 엄격하게 조건화된 잠재(latent)들을 인코딩합니다. 순방향 생성에는 적합하지만, 이 인과적 구조는 생성이 역방향으로 진행될 때 블록 간 불연속성을 유발합니다. 이를 해결하기 위해 우리는 블록별 앵커 잠재(latent)를 도입하는데, 이는 역방향 생성 중 블록 경계에서 누락된 과거 컨텍스트를 복원하는 보조 잠재(latent)들의 집합입니다. 이 설계를 기반으로, 우리는 임의의 방향 비디오 생성을 위해 단일 자기회귀 학생 모델(student model)을 학습(training)시키는 양방향 증류 프레임워크인 UniTemp를 제안합니다. 추론(inference) 시간에 UniTemp는 임의의 과거 및/또는 미래 프레임을 조건으로 하여, 양방향 및 중간 생성 모두에 대한 제어 가능성을 향상시킵니다. 실험 결과, UniTemp는 순방향 전용 방법과 비교하여 짧고 긴 비디오 생성 모두에서 경쟁력 있는 성능을 유지하면서, 양방향 비디오 확장, 중간 생성, 루프 비디오 생성, 장면 전환, 시각적 스토리 생성과 같은 다양한 워크플로우를 가능하게 하는 것으로 나타났습니다. 프로젝트 웹사이트: https://lzhangbj.github.io/projects/unitemp/
시네마틱 비디오는 특정 순간에 행동하거나 상호작용하는 여러 주체를 묘사하며, 의도적인 카메라 움직임으로 촬영되고 샷 전환(shot transitions)을 통해 연결됩니다. 이러한 요소들은 현재의 텍스트-투-비디오(text-to-video) 모델을 넘어서는 수준의 미세한 제어(fine-grained control)를 요구합니다. 기존 연구는 다중 주체 개인화, 시간적 제어, 다중 샷 합성, 또는 카메라 제어와 같이 각 축(axis)을 개별적으로 다루었으며, 네 가지를 모두 통합적으로 결합한 이전 프레임워크는 없습니다. 우리는 주체, 이벤트, 카메라, 샷 전환을 동시에 제어하는 통합 비디오 디퓨전 모델인 CineOrchestra를 제안합니다. 우리의 핵심 통찰은 이러한 이질적인 시네마틱 요소들이 기본 구조를 공유한다는 것입니다. 즉, 각 요소는 특정 시간 간격(temporal interval) 동안 작용하는 엔티티(entity)이므로, 시각적 엔티티를 위한 참조 이미지로 보강된 엔티티 중심 컨디셔닝 프리미티브(primitives)의 하나의 공유 구조를 통해 모두 표현될 수 있습니다. 이 공식화를 통해 아키텍처적 문제를 단일 위치 인코딩(positional encoding) 문제로 축소하였으며, 이를 매개변수가 없는 두 개의 조정된 회전 임베딩(rotary embeddings)으로 해결했습니다: (a) 지속 시간이 급격하게 변하는 이벤트 간에 일관된 어텐션(attention) 동작을 생성하는 간격 샘플링 시간적 RoPE, (b) 엔티티별 조건을 명확히 하고 각 조건을 해당하는 시공간 영역으로 라우팅하는 2D 엔티티-시간 크로스 어텐션 RoPE. 두 개의 새로운 벤치마크(benchmarks)에서 CineOrchestra는 밀집 캡션(dense caption) 추종 및 샷 전환 타이밍 측면에서 6개의 축별 전문가(per-axis specialists)를 능가했으며, 쌍대 비교 사용자 연구(pairwise user study) 및 구성 요소 제거 실험(component ablations)에서도 일관된 이득을 보였습니다. 프로젝트 페이지: https://snap-research.github.io/CineOrchestra
이미지-비디오 변환 디퓨전 모델은 입력 이미지를 활용하여 시각적으로 놀라운 콘텐츠를 생성하지만, 종종 물리 법칙을 위반하는 모션을 생성합니다. 우리는 놀라운 사실을 발견했습니다: 동일한 모델에서 2단계 생성은 종종 50단계 출력보다 더 나은 물리적 일관성을 보입니다. 스펙트럼 분석을 통해 우리는 이것이 노이즈 제거(denoising) 중 위상(phase) 침식 때문임을 추적했습니다. 위상은 2단계에서 50단계로 갈 때 약 18% 감소하여 현저히 저하되는 반면, 크기(magnitude)는 상대적으로 안정적으로 유지됩니다. 이러한 통찰을 바탕으로, 우리는 노이즈 제거 궤적 전체에 걸쳐 소수 단계 추론(few-step inference)의 유효한 모션 사전(motion priors)을 보존하는 학습 불필요한(training-free) 프레임워크인 PhaseLock을 제안합니다. 물리적 일관성을 위해 전체 단계 추론(full-step inference)에 의존하는 대신, PhaseLock은 단 2단계에서 모션 사전을 추출하고 Latent Delta Guidance를 통해 고충실도 생성에 이를 적용합니다. 우리의 접근 방식은 위상 저하를 효과적으로 완화하여, 다양한 모델에서 물리적 일관성을 평균 6.2점 향상시키면서도 시각적 충실도를 대부분 유지합니다. 이는 무시할 수 있는 오버헤드(시간 $1.06\times$, 메모리 $1.02\times$)와 비싼 외부 가이던스 방법(시간 $\sim5\times$)에 대한 의존도 감소를 달성했습니다. 프로젝트 페이지: https://dnwjddl.github.io/phaselock
비디오 가상 피팅(VVT)은 비디오 속 인물의 의류를 새로운 의류로 매끄럽게 교체하는 것을 목표로 합니다. 기존 방법들은 시간적 일관성(temporal consistency) 유지에 있어 상당한 발전을 이루었지만, 주로 모델이 단순히 의류를 전시하는 비대화형 시나리오에 국한되어 있습니다. 이러한 한계는 실제 의류 프레젠테이션의 중요한 측면인 능동적인 인간-의류 상호작용을 간과합니다. 이러한 격차를 해소하기 위해, 우리는 비디오 속 피사체가 의류와 능동적으로 상호작용하는 새롭고 도전적인 과제인 대화형 비디오 가상 피팅(Interactive VVT)을 소개하고 정형화합니다. 이 과제는 단순한 텍스처 보존을 넘어선 독특한 도전 과제를 제기하는데, 여기에는 (1) 표준 포즈(pose) 정보로부터 상호작용의 의미적 모호성을 해결하는 것과 (2) 상호작용 순간이 드물고 짧은 비디오에서 복잡한 의류 변형(deformation)을 학습하는 것이 포함됩니다. 이러한 도전 과제를 해결하기 위해, 우리는 대규모 비디오 디퓨전 트랜스포머(video diffusion Transformer)를 기반으로 구축된 새로운 프레임워크인 iTryOn을 제안합니다. iTryOn은 복잡한 역학(dynamics) 생성을 가이드하기 위해 다단계 상호작용 주입 메커니즘을 개척합니다. 공간적 레벨에서, 우리는 정확한 손-의류 접촉을 위한 세밀한 가이던스를 제공하여 공간적 모호성을 효과적으로 해결하는 의류 비의존적(garment-agnostic) 3D 손 사전(prior)을 도입합니다. 의미적 레벨에서, iTryOn은 전체 컨텍스트를 위한 전역 캡션과 국지적 상호작용을 위한 타임스탬프가 찍힌 액션 캡션을 활용하며, 이는 우리의 새로운 액션 인식 회전 위치 임베딩(Action-aware Rotational Position Embedding, A-RoPE)을 통해 동기화됩니다. 광범위한 실험을 통해 iTryOn이 기존 VVT 벤치마크에서 최첨단(SOTA) 성능을 달성할 뿐만 아니라, 새로운 대화형 설정에서도 압도적인 우위를 점함을 입증합니다. 이는 더욱 동적이고 제어 가능한 가상 피팅 경험을 향한 중요한 발걸음을 의미합니다.
오픈 가중치 비디오 디퓨전 모델은 폭력부터 잘못된 정보에 이르기까지 사실적인 불안전한 콘텐츠를 생성할 수 있지만, 기존의 방어 기제는 일반적인 능력을 저하시키는 비용이 많이 드는 안전성 미세조정을 요구하거나, 적대적 프롬프트에 의해 쉽게 우회되는 외부 필터를 적용합니다. 우리는 추론 시간에 내부 표현(Representation)을 안전한 생성 쪽으로 조향(Steering)하여 비디오 디퓨전 모델을 정렬하는 학습 없는 방법인 REINS(REpresentation-space INference-time Safety steering)를 제안합니다. 우리의 주요 발견은 안전성 관련 구조가 비디오 디퓨전 트랜스포머의 은닉 상태 활성화에 선형적으로 인코딩되어 있으며, 이진 안전성 레이블에 대한 지도 PCA(Supervised PCA)를 통해 발견된 단일 방향이 안전한 생성 궤적과 불안전한 생성 궤적을 분리하기에 충분하다는 것입니다. 추론 시 중간 트랜스포머 층의 은닉 상태에 이 방향을 더하면, 가중치 업데이트나 개념 열거 없이 무시할 수 있는 계산 오버헤드만으로 생성이 유해한 콘텐츠에서 의미적으로 관련된 안전한 대안으로 재지향됩니다. 메커니즘 분석을 통해 우리는 안전성 정보가 트랜스포머 깊이에 따라 단조롭게 축적되지만, 조향 효과는 중간 층(약 50% 깊이)에서 정점에 달한다는 것을 밝혀내며, 이는 정보 가용성과 하류 전파 용량 사이의 근본적인 트레이드오프를 드러냅니다. 우리는 9개의 비디오 디퓨전 모델, 다양한 매개변수 규모(1.3B-5B), 그리고 텍스트-비디오 및 이미지-비디오 생성에 걸쳐 REINS를 평가했으며, 이는 비디오 생성 문헌에서 우리가 아는 한 가장 광범위한 안전성 평가 스위트입니다.
최근 비디오 디퓨전 모델들은 대규모 생성형 월드 모델로서 인상적인 성능을 달성했습니다. 그러나 이러한 모델들은 종종 세밀한 물리적 일관성을 유지하는 데 어려움을 겪으며, 시간이 지남에 따라 물리적으로 타당하지 않은 역학을 나타냅니다. 본 연구에서는 비디오 디퓨전 모델로부터 물리적으로 일관된 4D 세계 표현을 학습하는 파이프라인인 Phys4D를 제안합니다. Phys4D는 외관 기반 비디오 디퓨전 모델을 점진적으로 물리적으로 일관된 4D 세계 표현으로 격상시키는 3단계 학습 패러다임을 채택합니다. 먼저 대규모 의사 지도 사전학습을 통해 강건한 기하학 및 모션 표현을 구축하여 4D 장면 모델링의 기반을 마련합니다. 그 다음 시뮬레이션 생성 데이터를 사용하여 물리 기반 지도 미세조정을 수행하여, 시간적으로 일관된 4D 역학을 부과합니다. 마지막으로, 명시적 지도를 통해 포착하기 어려운 잔여 물리적 위반을 수정하기 위해 시뮬레이션 기반 강화학습을 적용합니다. 외관 기반 지표를 넘어 세밀한 물리적 일관성을 평가하기 위해, 기하학적 응집성, 모션 안정성, 장기적 물리적 타당성을 검증하는 4D 세계 일관성 평가 세트를 도입합니다. 실험 결과, Phys4D는 강력한 생성 성능을 유지하면서 외관 기반 베이스라인과 비교하여 세밀한 시공간 및 물리적 일관성을 상당히 개선함을 보여줍니다. 우리의 프로젝트 페이지는 https://sensational-brioche-7657e7.netlify.app/ 에서 확인할 수 있습니다.
월드 액션 모델(WAM)은 비디오 생성 모델을 활용하여 미래 장면의 변화를 모델링한 후 제어 행동을 생성하는 방식으로 로봇 조작에 유망한 접근법을 제시한다. 그러나 우리의 실험적 관찰은 하나의 현상을 드러낸다: 그럴듯한 시각적 미래를 생성하는 것이 항상 정확한 행동 추출을 보장하지는 않는다. 이 실패를 진단하기 위해 우리는 액션 헤드 어텐션 분석과 인과 개입을 수행한다. 액션 디코더가 과제 관련 상호작용 영역에 집중하지 못하고 과제 무관 영역의 섭동에 민감하게 반응한다는 사실을 발견한다. 이는 표현 불일치를 드러낸다: 시각적 복원에 최적화된 은닉 상태가 저수준 행동 제어에 유용한 형태로 본질적으로 구성되지 않는다는 것이다. 본 논문에서 우리는 AGRA, 즉 행동 기반 표현 정렬(Action-Grounded Representation Alignment) 목적함수를 제안한다. AGRA는 중간 비디오 확산 피처를 기반 시각 인코더의 공간적으로 일관된 의미 표현과 정렬함으로써 월드-액션 인터페이스를 정규화한다. 우리는 실제 환경의 조작 과제에서 AGRA를 평가한다. 실험 결과, AGRA는 월드 모델 표현을 더 행동 기반으로 만든다는 것을 보인다: 액션 디코더가 올바른 상호작용 영역에 집중하도록 하여 객체 위치 파악 정확도와 어포던스 이해를 향상시키고, 과제 무관 영역의 섭동에 대해 정책을 더 강건하게 만든다. 결과적으로, AGRA는 기준선 월드 액션 모델 대비 분포 내 성능과 분포 외 일반화 모두에서 일관되게 향상된 결과를 보인다.
사전학습된 비디오 생성기는 창발적 과제 해결 능력을 보이는 유망한 시각적 월드 모델이지만, 상세한 텍스트 설명에 의존한다는 점이 계획 및 의사결정에 직접 활용하는 것을 제한한다. 기존 접근법은 이러한 추론을 언어 모델 또는 비전-언어 모델에 위임하거나, 과제 실행 비디오와 짝을 이룬 지도 미세조정에 의존하는데, 이는 수집 비용이 크고 확장하기 어렵다. 우리는 자기 증류(self-distillation)와 강화학습을 결합하여 이러한 모델에서 과제 해결 능력을 이끌어내는 확장 가능한 프레임워크를 제안한다. 라벨 없는 장면 이미지가 주어지면, 비전-언어 모델이 후보 과제와 상세한 단계별 해결책을 생성한다. 이 해결책은 사전학습된 비디오 확산 모델인 Demonstrator를 조건화하며, 우리는 그 행동을 이미지와 짧은 과제 프롬프트만으로 조건화되는 Executor로 증류한다. 이는 큐레이션된 과제-비디오 지도 없이 캡션 기반 생성에서 지시 조건 과제 해결로 실행 지식을 전이한다. 우리는 VLM 피드백으로부터의 강화학습으로 Executor를 더 개선하며, 샘플링된 비디오가 과제를 만족하는지 판단하는 것과 해결책을 생성하는 것 사이의 비대칭을 활용한다. 우리가 제안한 WorldTasks-Benchmark와 DreamGen 로봇 벤치마크에서의 실험은, Executor가 VLM 기반 평가 프로토콜 하에서 Demonstrator를 능가하며 로봇 과제로 경쟁력 있게 전이됨을 보여준다.
자기중심 시점에서 손 표면 접촉 압력을 추정하는 것은 AR/VR 기기, 로봇 모방, 및 인간공학 분석에 매우 중요하다. 기존 방법은 종종 압력 신호를 이산화하고 프레임을 독립적으로 처리하여 양자화 오류와 시간적 불일치를 초래한다. 우리는 시각 입력으로부터 UV-압력 맵을 생성하는 조건부 비디오 디퓨전 프레임워크인 EgoPressDiff를 제안한다. 우리 접근법의 핵심은 멀티모달 조건화 전략으로, PoseNet과 Vertex Encoder를 도입하여 손 자세와 3D 메시 정점으로부터 특징을 효율적으로 추출한다. 이 신호들은 깊이 정보와 함께 생성 과정을 안내하여 압력 필드가 물리적으로 그라운딩되도록 한다. 이질적인 특징을 효과적으로 융합하기 위해, 우리는 결합 전에 통계적 특성을 정렬하는 Distribution-Calibrated Spatial Layer(분포 보정 공간 층)를 추가로 제안한다. EgoPressure 자기중심 시점 설정에서 평가한 결과, EgoPressDiff는 최신(state-of-the-art) 성능을 달성하여, 기존 기준선 대비 Volumetric IoU를 34% 이상 상대적으로 향상시키는 동시에 MAE를 감소시키고 높은 시간적 정확도를 유지한다. 프로젝트 페이지는 https://egopressdiff.github.io/ 입니다.
최근 비전-언어 모델(VLM)을 비디오 이해 작업으로 확장하는 능력이 크게 향상되었다. 현재 VLM은 이벤트 수준이나 스토리 수준의 이해에는 탁월하지만, 미세한 동작 세부 사항을 포착하는 능력은 여전히 제한적이며, 이는 주로 고수준의 정적 의미 구조와 거시적 이벤트 논리에 초점을 맞추기 때문이다. 반면 비디오 확산 모델(VDM)은 대규모 비디오 데이터와 시간적 생성이라는 본질적 요구 사항의 이점 덕분에 동적 동작 패턴을 모델링하는 데 능숙하다. 본 논문에서는 강력한 비디오 확산 모델에서 증류한 동작 사전지식을 보조 감독으로 활용하여 어텐션 정렬을 통해 VLM의 동작 이해 능력을 강화하는 새로운 접근법인 MotionEnhancer를 제안한다. MotionEnhancer는 VDM으로부터 동작 관련 어텐션을 연산만으로 직접 추출하고 최적화하기 위해 Motion-sensitive Head Selection(MHS)과 Motion-salient Text Token Identification(MTTI)이라는 두 가지 간단한 매개변수 없는 모듈로 구성된다. MotionEnhancer는 추가 학습 매개변수, 기존 아키텍처 수정, 또는 도구 호출 없이 동작 이해를 위한 확장 가능한 해결책을 제공한다. 광범위한 실험 결과, MotionEnhancer는 두 가지 동작 수준 비디오 이해 벤치마크에서 최신 VLM 대비 일관된 성능 향상을 달성하며, 특히 동작 관련 지표에서 두드러진 개선을 보인다.