생성형 월드 모델(generative world model)은 동적 환경을 시뮬레이션하는 데 가능성을 보여왔지만, 1인칭 시점(egocentric) 영상은 빠른 시점 변화, 빈번한 손-객체 상호작용, 그리고 잠재적인 인간의 의도에 따라 전개가 달라지는 목표 지향적 절차로 인해 여전히 어려운 과제로 남아 있다. 기존 접근법들은 장면 전개가 제한적인 손 중심의 지시적(instructional) 합성에 초점을 맞추거나, 행동 역학(action dynamics)을 모델링하지 않는 정적 시점 변환(static view translation)을 수행하거나, 카메라 궤적(camera trajectory), 긴 비디오 프리픽스(prefix), 동기화된 다중 카메라 촬영과 같은 조밀한 지도(supervision)에 의존한다. 본 연구에서는 단일 1인칭 시점 이미지, 상위 수준의 지시문(instruction), 그리고 선택적인 보조 3인칭 시점(exocentric view)이라는 최소한의 정적 입력으로부터 일관된 1인칭 시점 비디오 롤아웃(rollout)을 생성하는 목표 지향적 1인칭 시점 월드 시뮬레이터인 EgoForge를 제안한다. 의도 정렬(intent alignment)과 시간적 일관성을 향상시키기 위해, 목표(goal), 시간적(temporal), 장면 일관성(scene-consistency), 지각적(perceptual) 보상으로부터 도출된 긍정적 및 부정적 롤아웃 분포를 사용하여 확산 속도장(diffusion velocity field)을 일관되고 목표를 완수하는 1인칭 시점 시뮬레이션으로 유도하는 궤적 수준(trajectory-level)의 확산 정제(diffusion refinement) 기법인 GRAFT를 제안한다. 광범위한 실험을 통해 EgoForge가 강력한 베이스라인(baseline) 대비 의미적 정렬(semantic alignment), 기하학적 안정성(geometric stability), 모션 충실도(motion fidelity) 측면에서 일관된 성능 향상을 달성하며, 실제 스마트 글래스 실험에서도 견고하게 동작함을 보여준다.
이벤트 기반 장면 합성(event-based scene synthesis)은 희소한 이미지 관측값과 비동기 이벤트 스트림으로부터 목표 RGB 프레임을 복원하는 것으로, 비디오 프레임 예측과 보간을 모두 포괄한다. 기존의 이벤트 기반 합성 방법들은 일반적으로 광학 흐름(optical flow)을 추정하여 관측된 프레임을 목표 시점으로 워핑(warp)하지만, 큰 움직임과 가림(occlusion)이 있을 때 부정확한 흐름에 취약하며 흐름 지도 학습(flow supervision)이나 사전학습된 추정기에 의존하는 경우가 많다. 본 연구에서는 프레임 간 잔차 정렬(inter-frame residual alignment)에 기반한 이벤트 기반 장면 합성 프레임워크인 EvFRA를 제안한다. 우리는 이벤트 측정값과 프레임 간 장면 변화 사이의 구조적 대응 관계를 발견하고, 이를 목표 프레임 합성에 활용한다. 우리의 학습 파이프라인은 두 단계로 구성된다: 1) 이벤트-잔차 정렬 변분 오토인코더(Event-to-Residual Alignment Variational Autoencoder, ER-VAE)는 앵커 프레임과 목표 프레임 사이에 포착된 이벤트 프레임을 해당하는 프레임 간 잔차와 정렬시키고, 2) ControlNet 조건부 디퓨전 모델을 파인튜닝하여 이벤트 데이터를 사용해 잔차 잠재 표현(residual latent)을 디노이징한다. 우리의 방법은 프레임 예측과 보간에서 각각 최대 2.61 dB와 1.85 dB의 PSNR로 최신 기법들을 능가하며, SSIM에서도 일관된 향상을 보인다. 코드는 https://github.com/jiyun-kong/EvFRA 에서 확인할 수 있다.
알려진 개념들의 새로운 조합을 생성하는 능력인 구성적 일반화(compositional generalization)는 시각적 생성 모델의 핵심 요소입니다. 그러나 이를 가능하게 하거나 저해하는 메커니즘은 아직 완전히 이해되지 않았습니다. 본 연구에서는 이미지 및 비디오 생성에서 구성적 일반화를 결정적으로 좌우하는 설계 선택에 대해 체계적인 연구를 수행합니다. 독립적인 설계 축들을 분리하여 분석함으로써, 구성적 성공과 밀접하게 연관된 두 가지 핵심 요인을 식별했습니다: (i) 학습(training) 목표가 이산형 분포 또는 연속형 분포에서 동작하는지 여부, 그리고 (ii) 학습 중 구성 요소들에 대한 조건부(conditioning) 정보의 완전성입니다. 또한 보조적인 연속형 잠재 목표(auxiliary continuous latent objective)를 통해 이산 손실(loss)을 완화하면 MaskGIT과 같은 이산 모델에서 구성적 성능을 부분적으로 회복할 수 있음을 보여줍니다. 다양한 구성적 작업과 월드 모델(world model) 및 대규모 언어 모델(LLM)에서의 예비적 증거를 통해 뒷받침되는 본 연구의 결과는, 구성적 일반화를 위해 연속적 목표로 전환해야 할 필요성을 제시합니다.
AI 생성 영상의 빠른 발전은 디지털 진위성과 보안에 어려움을 야기한다. 현재의 탐지 방법들은 특정 데이터셋(dataset)으로 학습되는 경우가 많아, 끊임없이 진화하는 생성 기술 환경과 보지 못한 조작 방식에 어려움을 겪는다. 우리는 강건한 AI 생성 영상 탐지를 위해 비전-언어 모델(Vision Language Model, VLM)을 활용하는 프레임워크를 소개한다. 우리의 접근법은 VLM에 영상 콘텐츠에 대해 추론하고 외부 도구를 사용하여 미묘한 불일치를 식별하는 능력을 부여함으로써, 인간의 시스템 2 사고를 모방한다. 우리의 자가 진화형 VLM은 적절한 도구를 동적으로 선택하고 조합하여, 새로운 영상 생성 기술에 대한 일반화 능력을 향상시킨다. 모듈형 설계는 해석 가능성을 높여 VLM의 의사결정 과정을 더 명확하게 이해할 수 있게 한다. 평가를 위해, 우리는 8개의 생성 모델에 걸친 1,400개 이상의 고품질 AI 생성 영상으로 구성된 최초의 벤치마크(benchmark)인 VidForensic을 구축한다. 실험 결과 REVEAL은 GPT-4o, Gemini 1.5 pro, QWen-VL-Max, Llava-One-Vision-7B를 비롯한 VLM들에 대해 우리의 데이터셋 전반에서 상위 베이스라인 대비 F1 점수를 9.1%에서 30.2%까지 향상시키는 것으로 나타났다. 개방형 환경(open-world)에서의 AI 영상 탐지는 여전히 해결되지 않은 과제로 남아 있지만, 우리의 결과는 기존 방법들이 주로 도구 기반의 고차원적 추론 능력이 부족하기 때문에 실패한다는 것을 보여준다.
공동 오디오-비디오(AV) 생성기는 \emph{사건이 어떻게 보이는지}와 \emph{어떻게 들리는지}가 허위로 상관된 데이터로 학습된다. 우리는 그로 인한 실패 양상에 대한 \emph{통제된 인과 연구}를 제시한다. 오디오가 구조적으로 비디오의 방해(nuisance) 외관과 독립인 AV 구조 인과 모델에서, 크로스 어텐션이나 공유 잠재를 통해 오디오가 비디오를 직접 읽도록 허용하는 모델은 \emph{시각적 지름길}을 학습한다: 인과적 사건이 아니라 외관으로부터 소리를 예측하며, 테스트 시 외관-사건 상관이 깨지면 잘못된 사건의 소리를 합성한다. 중요하게도, 두 모달리티를 \emph{공유 공통-원인 잠재}로 라우팅하는 널리 쓰이는 처방은 이를 \emph{고치지 못한다}—병목, 비지도 공유/사적 분해, 충실한 공유 사전 모델 모두 외관 대리(proxy)를 붙잡아 직접 연결 모델처럼 실패한다. 지름길을 차단하려면 대신 방해 요인에 대한 \emph{개입}이 필요하다: 명시된 가정 하에서 반사실 불변성이 인과 예측자를 식별하기 위해 필요충분함을 증명하고, 특징 벡터 SCM에서 절차적 픽셀 비디오, 스펙트로그램 오디오가 붙은 실제 이미지, 움직이는 실제 숫자, 조건부 생성기에 이르기까지 메커니즘을 검증한다. \emph{실제 사전학습} V2A 생성기(MMAudio)에서 입력-개입 테스트는 모델이 소리와 무관한 편집에 대해 불변에 훨씬 못 미침을 보여 주지만, 일반 노이즈 대조는 색상 지름길에 특화되기보다 입력에 전반적으로 취약함을 드러낸다—지름길의 깨끗한 분리는 우리의 합성 연구가 제공하는 통제된 교란(confound)이 필요하다. 지름길이 \emph{언제} 발생하는지 특성화하고, 목적 함수를 지도 반사실 증강과 비교하며, 개입을 적용할 수 없는 \emph{미지의 방해 요인} 영역을 핵심 미해결 문제로 격리한다.
생성 모델의 발전은 비디오 충실도를 높여 장기간 생성, 상호작용적 세계 모델링, 진화하는 시각 환경을 가능하게 했다. 자기회귀(AR) 비디오 생성은 인과적 롤아웃을 통해 시각 시퀀스를 확장한다. 그러나 근본적인 병목이 드러난다. 생성 시퀀스가 길어질수록 실용적 모델은 엄격히 제한된 컨텍스트 윈도우, 저장 공간, 계산 한계 아래에서 동작해야 한다. 그 결과 개체 정체성, 동적 상태, 개입에 의해 유발된 인과적 변화 등 중요한 과거 정보는 그 관련성이 사라지기 훨씬 전에 활성 컨텍스트를 벗어나는 경우가 많다. 이 한계를 극복하고 시간적 지속성을 유지하는 것은 근본적인 메모리 문제를 이룬다. 본 논문은 AR 비디오 생성에서의 메모리 메커니즘에 대한 체계적이고 포괄적인 리뷰를 제시한다. 메모리를 외부 AR 단계에 걸쳐 유지되는 지속적인 과거 정보로 연산적으로 정식화하며, 근원 증거가 더 이상 국소적으로 접근할 수 없게 된 뒤에도 미래 생성에 영향을 줄 수 있도록 한다. 이 통합 프레임워크를 바탕으로 문헌을 다섯 가지 상보적 관점으로 정리한다. (I) Forms, 역사의 표현적 담체; (II) Functions, 보존해야 할 구체적 의미·물리 정보; (III) Operations, 쓰기·읽기·갱신·관리·통합을 포함한 메모리 수명 주기; (IV) Learning, 폐루프 롤아웃 하에서 메모리 동작의 최적화; (V) Evaluation, 진정한 메모리 능력을 진단하는 패러다임. 마지막으로 구성 가능하고 자원 인식적인 메모리 아키텍처, 신뢰할 수 있는 상태 갱신, 자기 롤아웃(self-rollout) 학습, 표준화된 평가 등 미해결 과제를 종합한다. 표현, 메커니즘, 학습 패러다임을 연결함으로써 본 논문은 신뢰할 수 있는 메모리 조건부 비디오 생성 시스템 개발을 위한 구조화된 기반을 마련한다.
최근 텍스트-투-비디오(text-to-video) 생성의 발전으로 고품질 시각 합성이 가능해졌지만, 사실적인 동작(motion) 구현은 여전히 어렵다. 생성된 비디오는 시간적 불연속성, 일관되지 않은 동작 진행, 복잡한 움직임 중 구조적 왜곡을 보일 수 있다. 개별 프레임이 사실적으로 보이더라도 기저 동작은 일관되지 않거나 비현실적인 방식으로 진화할 수 있다. 표준 생성 목적 함수는 동작 특화 감독을 제한적으로만 제공하여 동작 진화가 충분히 제약되지 않는다. 본 논문에서는 스펙트럴 궤적 일관성(Spectral Trajectory Consistency, STC)을 중심으로 한 동작 감독 프레임워크 MotionSpec을 제안한다. STC는 밀집 anchor-relative 동작 궤적을 구성하고 시간 푸리에 변환(temporal Fourier transform)을 통해 이를 motion spectral volume으로 변환한다. 예측 궤적과 목표 궤적의 스펙트럴 진폭과 위상을 정렬함으로써 STC는 시간 주파수에 걸친 동작 강도와 동작의 시간적 구조화를 모두 제약한다. 궤적 수준 감독을 보완하기 위해, 예측·목표 비디오 간 연속 프레임 optical flow를 정렬하여 국소 동작 전환을 안정화하는 국소 흐름 일관성(Local Flow Consistency, LFC)을 도입한다. 실험 결과 MotionSpec은 시각적 충실도를 유지하면서 동작 일관성, 시간적 일관성, 및 타당성을 일관되게 향상시킴을 보여준다.
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
AI Flow 프레임워크 하에서 통신 네트워크는 디바이스, 엣지 서버, 클라우드에 걸쳐 지능을 분산하며, 수신측 연산(computation)은 전송 비트를 대체할 수 있는 자원이 된다. 생성형 비디오 압축(GVC)은 초저 전송률(bitrate)의 압축 토큰(token)을 보내고 생성형 디코더가 비디오를 합성하게 함으로써 이러한 교환을 구현하지만, 디코더 연산 한 단위가 실제로 얼마만큼의 대역폭 절감을 달성하는지는 아직 정량화된 적이 없다. 이 공백을 메우기 위해 우리는 재구성 품질을 데이터 전송률과 디코더 연산에 대한 이인자 멱법칙으로 모델링하며, 이는 두 GVC 디코더의 측정 DISTS를 평균 오차 3% 미만으로 적합시키고, 정보 용량(IC)을 등품질(iso-quality) 등고선을 따른 음의 로그 기울기, 즉 동일 품질에서 연산이 분율만큼 증가할 때 절약되는 전송률의 비율로 정의한다. IC는 무차원이며 단위 불변(unit-invariant)이므로 아키텍처에 무관한(architecture-agnostic) 비교를 가능하게 한다. 이는 작동 평면(operating plane) 위의 장(field)을 형성하여, 추가 디노이징(denoising) 단계가 그 비용을 감당할 만한 위치를 찾아낸다. 다섯 개 데이터셋에 걸쳐 14B 디코더는 1.3B 디코더보다 약 10배 더 효율적으로 더 많은 연산을 더 적은 전송률과 교환한다. IC 또한 데이터셋 간에 크게 달라지며, 이는 GVC 방법에서 전송률-연산 상충(rate-compute trade-off)에 대한 불균형한 성능을 시사한다.
월드 액션 모델(WAM)은 행동 생성과 환경 역학을 공동으로 모델링하며, 대부분 사전학습된 비디오 확산 모델(VDM) 위에 구축된다. VDM 기반 WAM에서는 관측이 먼저 VAE로 인코딩되고, 그 결과 압축 잠재(latent)가 대규모 비디오 확산 백본에서 처리되어 행동 생성에 효과적인 특징을 추출한다. 그러나 이 패러다임은 WAM 성능과 학습 비용을 대규모 비디오 생성 사전학습에 묶어 WAM의 효율성과 확장성을 제한한다. 본 논문에서는 WAM에서 시각 표현이 행동 생성에 미치는 영향을 이론적·실증적으로 조사한다. 결과에 따르면 Joint-Embedding Predictive Architecture(JEPA) 인코더의 예측 임베딩은 압축 VAE 잠재보다 행동 생성을 더 잘 지원하며, 인코더 비교에서 I-JEPA가 가장 우수했다. 이에 기반해 행동 생성을 JEPA 임베딩에 조건화하고, 비디오 확산 백본 없이 동일 공간에서 미래 임베딩을 예측해 환경 진화를 모델링하는 LeWAM을 제안한다. 또한 모방 학습(imitation learning)은 시연 행동과 맞추지만, 작은 행동 편차가 과제 성공에 크게 영향을 줄 수 있음에도 더 나은 행동과 열등한 행동을 구분하지 못함을 확인한다. 추가 환경 상호작용이나 리셋·안전에 필요한 인간 감독 없이 이 한계를 완화하기 위해, 시연에서 직접 선호 감독을 도출하는 오프라인 선호 정제 단계인 Demonstration-Guided DPO(DemoDPO)를 도입한다. 학습 가능 파라미터 0.4B만으로 LeWAM은 RoboTwin 2.0에서 평균 성공률 92.28%를 달성해 최신 VLA 및 WAM과 유사한 수준이며, 실제 조작 과제에서도 실용적 효과를 유지한다.
KV 캐시 메모리는 비디오 생성과 월드 모델 배포의 주요 병목이 되었으며, 이는 효율을 위한 저비트 양자화 연구를 촉진한다. 기존 2비트 KV 캐시 양자화 방법은 VBench와 같은 비디오 벤치마크에서 거의 무손실에 가까운 성능을 달성할 수 있지만, 우리는 이들이 여전히 심각한 시간적 깜박임과 시각적 저하를 일으킨다는 것을 발견했다. 한편, 더 깊은 분석은 Key 양자화가 Value보다 더 작은 재구성 오류를 만들지만, 놀랍게도 훨씬 더 큰 출력 저하로 이어진다는 것을 보여준다. 우리는 이러한 불일치를 어텐션으로 추적한다. 작은 Key perturbation은 어텐션 logit, 즉 QK^\top을 바꿀 수 있고, Query가 선택하는 시간-공간 토큰을 이동시킬 수 있다. 이러한 관찰은 시각적 저하 문제를 완화하기 위해 KV 캐시 양자화 동안 어텐션 logit과 시간-공간 토큰 선택을 명시적으로 보존하도록 동기를 부여한다. 이 문제를 해결하기 위해, 우리는 무학습(training-free)이며 엄격하게 인과적인 2비트 KV 캐시 양자화 프레임워크인 QuantWM을 제안한다. QuantWM은 어텐션 이동을 완화하기 위해 두 가지 상보적 기법을 도입한다. 첫째, 양자화 민감도 인식 클러스터링(QSAC)은 과거 Query 민감도와 잔차 범위를 함께 고려하여 INT2에 적합한 Key 중심을 선택하고, 어텐션에 더 중요한 채널에서 양자화 오류를 줄인다. 또한, 주성분 부분공간 어텐션 보상(PSAC)은 저랭크 투영을 사용하여 지배적 Query 부분공간을 따라 남은 Key 오류를 복원하며, 어텐션 logit을 안정화하기 위한 직접적이고 효율적인 보정을 제공한다. Causal-Forcing, LingBot-World-v2, HY-World 1.5, Matrix-Game-2, Longcat-Video에 대한 광범위한 실험은 QuantWM이 시각적 품질과 시간적 일관성을 크게 개선하며, 최대 6.20배 KV 캐시 메모리 압축과 제한적인 추가 오버헤드 하에서 이미지 및 비디오 품질 지표 전반에서 기존 방법을 능가함을 보여준다.
강화학습(RL)은 비디오 생성 모델을 최적화하는 데 필수적이며, 견고한 보상 모델(RM)이 그 핵심 기반 역할을 합니다. 그러나 기존의 비디오 보상 모델은 명시적인 평가 기준 없이 복잡하고 주관적인 비디오 품질을 단일 점수로 직접 매핑하기 때문에 종종 불안정한 스칼라 점수를 생성합니다. 이는 서로 다른 프롬프트 전반에서 점수 척도가 무너지거나 변동하는 스칼라 드리프트(scalar drift)로 이어져 강화학습을 위한 보상을 신뢰할 수 없게 만듭니다. 전문적인 인간 어노테이션 엔지니어링에서 영감을 받아, 본 연구에서는 평가 쿼리와 채점기 사이의 중간 표현으로 동적 루브릭(rubric)을 도입하는 루브릭 기반 비디오 보상 프레임워크인 RewardVerse를 통해 이 문제를 해결합니다. 제약 없는 직접 채점 대신, RewardVerse는 먼저 명시적인 평가 기준을 생성한 다음 루브릭 기반 채점을 수행하여 스칼라 드리프트를 완화하는 안정적인 의미적 기준점(semantic anchor)을 제공합니다. 이러한 협력적 파이프라인을 효율적으로 최적화하기 위해, 2단계 학습 알고리즘인 루브릭 기반 정책 최적화(RGPO, Rubric-Guided Policy Optimization)를 제안합니다. RGPO는 먼저 자체 진화하는 시드 루브릭을 사용하여 채점기를 웜업한 다음, 쿼리 적응형 평가 기준을 생성하도록 루브릭 생성기를 공동 최적화하는 동시에 채점기를 인간의 평가 점수와 지속적으로 정렬합니다. 16차원 EvalVerse 벤치마크 및 외부 데이터셋에 대한 광범위한 실험을 통해 RewardVerse가 스칼라 드리프트를 완화하고 포인트와이즈(pointwise) 및 페어와이즈(pairwise) 평가 모두에서 최고 수준(state-of-the-art)의 성능을 달성하며, 비디오 생성 강화학습을 위한 견고하고 해석 가능한 보상 신호를 제공함을 입증합니다.
사전학습된 비디오 확산 모델은 강력한 시공간 생성 사전(prior)을 제공하여 로봇 월드 모델의 자연스러운 기반이 된다. 최근 world-action 모델들은 미래 비디오와 행동을 공동 최적화하지만, 대부분 비디오 생성을 정책 학습을 위한 보조 표현으로만 취급한다. 그 결과 행동 신호로 비디오 합성을 유도하는 역문제는 충분히 탐구되지 않아, 생성 롤아웃에서 정밀한 로봇 공간 기하와 미세한 로봇-객체 상호작용 역학을 자주 보존하지 못한다. 이 간극을 메우기 위해 운동학 제어와 시각 지각 사이의 루프를 효과적으로 닫는 이벤트 인지 생성 월드 모델 EA-WM을 제안한다. EA-WM은 관절 또는 엔드 이펙터 행동을 추상적·저차원 토큰으로 주입하는 대신, 행동과 운동학 상태를 구조화된 운동학-시각 액션 필드로 목표 카메라 시점에 직접 투영한다. 이 기하학적으로 근거한 표현을 충분히 활용하기 위해, 교차 분기 어텐션을 변조하며 객체 상태 변화와 상호작용 역학을 포착하는 이벤트 인지 양방향 퓨전 블록을 도입한다. 포괄적인 WorldArena 벤치마크에서 평가한 결과 EA-WM은 최신(state-of-the-art) 성능을 달성하며, 기존 베이스라인을 상당한 마진만큼 능가한다.
물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.
확장 가능한 시뮬레이션은 로봇 데이터 생성, 정책 학습, 평가, 안전한 반복(iteration)에 필수적이지만, 실제 환경과의 상호작용은 비용이 많이 들고 기존 시뮬레이터는 노동집약적인 구축 과정을 요구한다. 우리는 관절 궤적 조건부 자기회귀 확산 모델(joint-trajectory-conditioned autoregressive diffusion model)을 중심으로 구축된 데이터 기반 로봇 시뮬레이터 Uranus를 소개한다. Uranus는 세 가지 핵심 기능을 제공한다: (1) 스트리밍 방식의 개방형 롤아웃(rollout)으로, 미래의 관절 위치 궤적을 온라인으로 수신하여 고정된 시간 범위(horizon) 없이 매 스텝마다 4개의 RGB 프레임에 해당하는 하나의 잠재 프레임(latent frame)을 자기회귀적으로 생성한다; (2) 낮은 지연 시간의 생성으로, 추론(inference) 최적화 이후 24 FPS를 달성한다; (3) 확장 가능하며 확장이 용이한(extensible) 로봇 제어로, 다양한 로봇 구현체(embodiment)와 카메라 구성 전반에 걸쳐 동기화된 다중 시점 생성을 위한 통합 인터페이스를 제공한다. 우리는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에 대해 포괄적인 정량적·정성적 평가를 수행하여 Uranus에 대한 객관적인 평가를 제시하고 현재의 한계를 명확히 규명한다. 우리는 코드와 모델 가중치를 공개하여 커뮤니티에 실용적인 도구와 통찰을 제공한다.
일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.
오디오 기반 디지털 휴먼 생성을 위한 최첨단 모델들은 말하는 머리 합성(talking-head synthesis)에서 사실적인 결과를 달성했습니다. 그러나 상당한 도메인 격차(Domain Gap)로 인해 이러한 모델을 노래하는 머리 합성(singing-head synthesis)으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다. 노래는 더 과장된 표정, 생생한 턱 벌림, 그리고 정밀한 리듬 동기화를 필요로 하기 때문입니다. 주로 음성 데이터셋으로 학습된 기존 모델들은 종종 "리듬 편차(rhythmic drift)"와 제한된 역동성으로 인해 어려움을 겪습니다. 이를 해결하기 위해 우리는 노래하는 머리 합성에 특별히 맞춰진 최초의 대규모 고품질 인더와일드(in-the-wild) 비디오 데이터셋인 Hi-Singers를 소개합니다. Hi-Singers는 엄격한 자동화 및 수동 필터링 파이프라인을 거쳐 엄격한 주제 부합성, 고해상도 렌더링, 안정적인 움직임을 보장하며, 총 약 170시간에 달하는 29,608개의 비디오 세그먼트를 구축했습니다. 나아가 우리는 언어 및 음악적 스타일에 걸쳐 균형 잡힌 전용 평가 벤치마크를 구축했습니다. 3D 계수 기반 및 확산(diffusion) 기반 모델을 포함한 다양한 아키텍처에 걸친 광범위한 실험은 Hi-Singers가 모든 차원에서 성능을 일관되고 크게 향상시킴을 보여줍니다. 구체적으로, 이 데이터셋을 통해 모델은 우수한 시각적 사실성, 향상된 립싱크 일관성, 더욱 정밀한 리듬 역동성을 달성할 수 있어 도메인 격차를 효과적으로 해소하고 노래 합성 태스크에 대한 새로운 성능 기준을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singers 에서 확인할 수 있습니다.
비디오 월드 모델(video world model)은 동적 환경의 인터랙티브한 탐험을 가능하게 하지만, 긴 지평(long horizon)과 다양한 시점에 걸쳐 이전 관측 결과를 온전히 반영하는 데 어려움을 겪습니다. 본 논문에서는 이를 위해 카메라로 쿼리 가능한 암시적 3D 인식 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제시합니다. 핵심 통찰은 요청된 시점이 비디오 생성기의 제한된 토큰 예산 내에서 다중 뷰 단서가 압축되는 방식을 결정하도록 하는 것입니다. 비디오 생성기와 공동으로 학습되는 메모리 인코더 및 포즈 조건부 판독(readout) 모듈은 명시적인 깊이 기반 대응점 없이도 디노이징 전에 이전 관측값들을 고정된 수의 목표 시점 특화 토큰 세트로 통합합니다. 이 메모리를 최근 시간적 컨텍스트 및 소수 단계 지식 증류(few-step distillation)와 결합함으로써, WorldCrafter는 단일 입력 이미지 또는 텍스트 프롬프트로부터 스트리밍 장면 탐험을 가능하게 합니다. 정적 및 동적 장면에 걸친 실험 결과, 분 단위 탐험 중에도 시각적 품질을 유지하면서 긴 지평의 일관성과 카메라 제어 정확도 측면에서 상당한 성능 향상을 입증합니다.
우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.
본 논문에서는 사전학습된 양방향 비디오 확산 모델(bidirectional video diffusion model)에 대한 학습만으로 자기회귀(auto-regressive) 방식의 고품질 스트리밍 비디오 편집을 지원하는 프레임워크인 SVEET를 제안한다. 이 문제를 해결하기 위해, 먼저 기존의 비디오-투-비디오 확산 접근법들을 체계적으로 재검토하고, 이러한 스트리밍 적응을 위한 두 가지 핵심 원칙, 즉 백본 특징 분리(backbone feature disentanglement)와 조건부 프레임 독립성(conditional frame independence)을 규명한다. 이러한 통찰을 바탕으로, 제어 가능한 비디오 생성을 위한 새로운 패러다임을 개발한다. 그 핵심에는 시간적으로 독립적인 셀프 어텐션으로 소스 비디오 입력을 인코딩하는 보조 모델 분기(auxiliary model branch)가 있으며, 중간 특징들은 스트리밍 호환 제어를 위해 해당 백본 블록에 주입된다. 또한, 양방향 모델과 스트리밍 모델의 특징 공간 간 불일치를 해소하기 위해, 비디오 제어 가능성과 모델 인과성(causality)의 최적화 방향 간 직교성을 명시적으로 강제하는 분리 학습(decoupled training) 기법을 제안한다. 이러한 분리는 추론 시 두 목표 간의 호환성을 보장하고, 이질적인 백본 아키텍처 간의 원활한 제로샷 지식 전이를 촉진한다. 광범위한 실험을 통해 SVEET가 실시간 성능을 유지하면서도 우수한 편집 품질을 달성함을 입증하였으며, 어떠한 보조 가속 기법 없이도 단일 H100 GPU 17에서 15 FPS를 달성하였다. 코드는 https://github.com/YujiaHu1109/SVEET 에서 확인할 수 있다.