사전학습된 비디오 확산 모델(video diffusion model)의 내부 표현을 활용해 에고센트릭 영상에서 4D 양손 자세를 재구성하는 ViDiHand를 제안하며, 손 오버레이 렌더링 목적함수로 모델을 적응시켜 검출기·인필러·테스트 시간 최적화 없이 동작한다. ARCTIC, HOT3D, HOI4D 벤치마크에서 기존 방법 대비 검출 오류율을 최대 27배, 예측 지터를 최소 4배 감소시키며 최첨단 성능을 달성했다.
CG 시뮬레이터로 생성한 소규모 합성 데이터셋을 기반으로, Motion-Context-LoRA와 Style-Alignment-LoRA 두 모듈을 활용해 단일 인물 이미지에서 물리적으로 그럴듯한 헤어 모션을 합성하는 디퓨전 기반 파이프라인 HairWeaver를 제안한다. Style-Alignment-LoRA는 CG 도메인 갭을 극복하기 위한 학습 전용 모듈로 추론 시 제거되며, 결과적으로 약 1,000개의 영상만으로 학습하여 기존 최첨단 방법 대비 더 사실적이고 세밀한 헤어 애니메이션을 달성한다.
몰입형 3D 콘텐츠에 대한 수요가 증가함에 따라 단안(monocular) 영상을 스테레오 비디오로 자동 변환하는 기술이 필요해지고 있다. 본 논문에서는 일반 비디오를 양안(binocular) 비디오로 업그레이드하는 제어 가능한 직접 엔드-투-엔드 방법인 Elastic3D를 제안한다. 조건부 잠재 확산(conditional latent diffusion)에 기반한 우리의 접근법은 명시적인 깊이 추정 및 워핑(warping)으로 인한 아티팩트를 방지한다. 고품질 스테레오 비디오 출력의 핵심은 선명하고 에피폴라(epipolar) 일관성을 갖춘 스테레오 비디오 출력을 보장하는 새로운 가이드 VAE 디코더이다. 또한, 우리의 방법은 직관적인 스칼라 조절 노브를 통해 추론 시 사용자가 스테레오 효과의 강도(더 정확히는 시차(disparity) 범위)를 제어할 수 있도록 한다. 실제 스테레오 비디오의 세 가지 서로 다른 데이터셋에 대한 실험 결과, 우리의 방법은 전통적인 워핑 기반 및 최근의 워핑 없는(warping-free) 기준 방법들을 모두 능가하며 신뢰할 수 있는 제어 가능한 스테레오 비디오 변환의 새로운 기준을 제시한다. 비디오 샘플은 프로젝트 페이지(https://elastic3d.github.io)에서 확인할 수 있다.
비디오 생성 모델에서 복잡한 인간 동작의 시각적·시간적 정확성을 평가하기 위해, 외형에 독립적인 골격 기하학 특징(SMPL 3D 파라미터, 2D 키포인트)과 외형 기반 특징을 융합하여 실제 동작의 잠재 매니폴드(latent manifold)를 학습하는 새로운 평가 지표를 제안한다. 자체 개발한 TAG-Bench-v0 벤치마크에서 기존 최신 방법 대비 68% 이상의 성능 향상을 달성하며 인간 지각과 강한 상관관계를 보임을 입증한다.
단일 이미지에서 물리적으로 일관된 3D 동적 콘텐츠를 생성하기 위해, PhyMAGIC은 사전학습된 이미지-투-비디오 모델로 다양한 motion probe를 합성하고 비전-언어 모델(VLM)의 신뢰도 점수 기반 반복 정제를 통해 밀도·탄성·항복 응력 등 물리 속성을 추론한 뒤, 미분 가능한 Material Point Method(MPM) 시뮬레이터에서 실행하는 학습 불필요(training-free) 프레임워크다. PhysGaussian, PhysGen 등 다양한 실험에서 기존 최신 비디오 생성 모델 및 물리 인식 기반 모델 대비 동작-텍스트 정렬과 물리적 타당성 모두에서 우수한 성능을 달성했다.
ProxyPose는 단안 비디오에서의 6자유도(6-DoF) 자세 추적 문제를 비디오-투-비디오 변환(video-to-video translation)으로 재정식화하여, 3D 모델이나 깊이 맵 등 추가 입력 없이 첫 프레임의 단일 픽셀만으로 파인튜닝된 비디오 확산 모델(video diffusion model)이 색상 다면체의 프록시 비디오를 생성하고 고전적 자세 추정 알고리즘으로 6-DoF 궤적을 복원한다. 합성 데이터만으로 파인튜닝한 후에도 최첨단 정확도를 달성하며, 텍스처 없는 표면·투명 재질·변형 가능한 물체는 물론 얼굴 추적과 카메라 자세 추정까지 확장 가능함을 보인다.
엔드투엔드 자율주행 평가를 위한 생성형 센서 시뮬레이션 프레임워크 Point as Skeleton을 제안하며, 포인트 클라우드 스켈레톤을 조건으로 활용해 자기회귀 영상 생성 시의 오류 누적을 안정화한다. Reset-and-Roll 추론 기법으로 폐루프(closed-loop) 롤아웃을 지원하고, nuScenes와 nuPlan 실험에서 시각적 충실도가 높은 폐루프 주행 시뮬레이션 가능성을 입증했다.
PACR-Video는 텍스트-투-비디오 확산 트랜스포머를 동결한 채 저순위 시간적 어댑터와 재귀적 프롬프트 뱅크를 활용해 개체·장면·스타일의 일관성을 유지하며 다중 샷 장편 비디오를 외삽하는 파라미터 효율적 프레임워크다. 6개 벤치마크에서 튜닝 기반·메모리 증강·재귀적 컨텍스트 기반 베이스라인 대비 분포적 품질, 동일성 일관성, 시간적 매끄러움 등 전 지표에서 우수한 성능을 달성했다.
사전학습된 텍스트-투-비디오 확산 모델의 시간적 일관성 사전 지식을 활용하여 비디오 얼굴 복원(VFR)의 공간적 충실도와 시간적 일관성 균형 문제를 해결하는 FADRA 프레임워크를 제안한다. 경량 LoRA 어댑터와 LQ 픽셀 정렬 특징 융합 모듈, 플로우 매칭 각 단계에서 저품질 단서를 반복 재참조하는 반복 잔차 적응 헤드(RRAH), 그리고 인간 시각 시스템 기반의 주파수 인식 손실(FAL)을 결합하여 최신 방법 대비 정량·정성 평가 모두에서 우수한 얼굴 구조 복원 및 시간적 일관성을 달성했다.
AlayaWorld는 노동 집약적인 기존 게임 제작 파이프라인의 한계를 극복하기 위해, 자기회귀적 DiT에 프롬프트 전환 메커니즘, 카메라 제어 모듈, 3D 캐시, 히스토리 압축 모듈 등을 통합한 풀스택 오픈소스 인터랙티브 생성 세계 프레임워크를 제시한다. 실시간 장거리(long-horizon) 생성과 전투·주문 시전·몬스터 소환 등 개방형 행동을 지원하며, 데이터 준비부터 추론 가속화·배포까지 전체 개발 과정을 모듈식 아키텍처로 통합해 생성 월드 모델 연구의 실용적 기반을 확립한다.
MoWorld는 고사양 GPU 없이 NPU에서 최대 50 FPS 실시간 추론을 달성하는 플래시 월드 모델(Flash World Model)로, 3D 네이티브 데이터 엔진, 커리큘럼 크로스-프레임 사전학습, 자기회귀 플로우 매칭 지식 증류, 혼합 정밀도 병렬 추론 프레임워크를 통합한 엔드-투-엔드 파이프라인을 제시한다. 기존 월드 모델 대비 추론 비용을 30–50% 수준으로 낮추면서도 주제 일관성, 카메라 제어, 장기 시간 일관성 등 주요 벤치마크에서 선도적 성능을 달성했다.
Wan2.2-5B 서버급 모델을 순환 증류(recurrent distillation)와 학습 가능한 어텐션 헤드 가지치기, 샘플링 단계 증류, 메모리 최적화 VAE 디코딩을 결합해 모바일 기기에 배포 가능하도록 압축한 MobileWan을 제안하며, 상용 모바일 기기에서 20초 내에 480×832 해상도의 5초 영상을 16 FPS로 생성하고 VBench 83.79점으로 모바일 비디오 생성 최고 성능을 달성했다.
SparseCtrl-HOI는 라이브 스트리밍 이커머스를 위한 인간-객체 상호작용(HOI) 비디오 생성에서, 프레임 단위 밀집 가이던스 대신 소수의 키프레임만으로 제어하는 희소 시간적 제어 프레임워크를 제안한다. TiRoPE 메커니즘으로 키프레임을 지정된 타임스탬프에 고정하고, 멀티모달 대규모 언어 모델(MLLM) 기반 Motion Prior Injection Module로 중간 프레임의 자연스러운 동작 전환을 합성하며, 고품질 데이터셋 SparseHOI-5K를 함께 공개한다.
ARMS는 텍스트 지시에 따라 솔로 행동과 인간-인간 상호작용 사이를 끊김 없이 전환하는 스트리밍 모션 생성 프레임워크로, 동역학 비대칭 표현(dynamics-asymmetric representation)과 인과적 관계형 확산 모델(causal relational diffusion model)을 통해 장기적 시간 일관성과 에이전트 간 공간적 일관성을 동시에 유지한다. 실험 결과, 기존 상호작용 중심 기준 모델 대비 전환 부드러움과 사회적 일관성이 향상되었으며, 인간-인간 상호작용 벤치마크에서도 경쟁력 있는 성능을 달성하였다.
우리는 복잡한 물리적 상호작용이 지배하는 고도로 동적인 환경을 위한 최초의 멀티플레이어 월드 모델을 소개한다. 단일 플레이어 월드 모델이 다른 에이전트를 환경의 일부로 취급하는 것과 달리, 우리의 모델은 여러 에이전트의 행동 스트림을 조건으로 받아, 장면의 변화를 올바른 플레이어에게 귀속시키고 행동들의 임의적인 조합 하에서도 일관성을 유지하도록 학습한다. 우리는 이 문제를 빠르고 긴밀하게 결합된 역학 아래 플레이어들이 경쟁하고 협력하는 Rocket League 게임에서 연구한다. 공개적으로 이용 가능한 봇으로 수집한 10,000시간 분량의 게임플레이 데이터로 학습된 우리의 50억 매개변수 잠재 확산 모델은 단일 Nvidia B200 GPU에서 초당 20프레임으로 4인 매치를 실시간 생성한다. 짧은 클립으로만 학습되었음에도 불구하고, 모델의 롤아웃은 학습 호라이즌을 훨씬 넘어서도 안정적으로 유지된다: 분포적 품질은 우리가 측정하는 최장 호라이즌인 5분까지 꾸준히 유지되며, 실제로 붕괴 없이 몇 시간 동안 지속되는 롤아웃을 관찰했다. 우리는 비디오 코덱, 생성 목적 함수, 멀티플레이어 조건화 방식이라는 핵심 설계 선택들을 체계적으로 조사한다. 또한, 모델 및 데이터 규모에 따른 행동 변화를 특성화하며, 여기에는 창발하는 능력과 지속되는 실패 사례가 포함된다. 나아가 시각적 외관만이 아닌 모델의 물리적 이해를 탐구하는 목표 지향적 평가를 개발한다. 멀티플레이어 월드 모델에 대한 지속적인 연구를 지원하기 위해, 우리는 데이터셋, 전체 학습 및 추론 코드베이스, 그리고 라이브 데모를 공개한다.
Wan-Streamer v0.2는 기존 v0.1의 네이티브 스트리밍 엔드투엔드 오디오-비주얼 상호작용 모델을 업그레이드하여, 25 FPS에서 약 200 ms의 모델 측 지연을 유지하면서 출력 해상도를 192×336에서 640×368로 향상시켰다. 단일 GPU 씽커(thinker)가 지연 임계 경로를 담당하고, Ulysses 방식의 컨텍스트 병렬 멀티 GPU 퍼포머(performer)가 고해상도 잠재 비디오 생성을 처리하는 서빙 구조를 통해, 350 ms 양방향 네트워크 예산 포함 시 총 원격 상호작용 지연을 약 550 ms로 유지하면서 실시간 대화 중 자세·시선·손·장면 레이아웃이 식별 가능한 미드샷 에이전트를 지원한다.
WAM4D는 기존 월드 액션 모델(WAM)이 2D 공간에서 동작하여 정밀 조작에 필요한 3D 공간 제약을 충족하지 못하는 문제를 해결하기 위해, 학습 시에만 경량 공간 레지스터 토큰을 통해 기하학적 파운데이션 모델의 사전 지식을 인과적 비디오-액션 트랜스포머로 증류하고 추론 시에는 해당 브랜치를 제거하는 방식을 제안한다. RoboTwin 2.0 및 실세계 조작 태스크 실험에서 공간적 일관성과 액션 예측 성능을 모두 향상시키면서 효율적인 추론 속도를 유지함을 검증하였다.
확산 모델의 균일한 계산 비용 문제와 자기회귀(AR) 모델의 손실 이산 토큰화 및 오류 누적 문제를 동시에 해결하기 위해, ByteDance 연구진은 계층적 이진 양자화(HBQ)와 전역 정제 메커니즘을 결합한 생성적 정제 네트워크(GRN)를 제안한다. GRN은 ImageNet 벤치마크에서 이미지 재구성 0.56 rFID, 클래스 조건부 생성 1.81 gFID로 새로운 최고 성능을 달성하였으며, 텍스트-이미지 및 텍스트-비디오 생성으로도 성공적으로 확장되었다.
SWITCH는 가전제품 패널, 리모컨, 엘리베이터 등 유형 제어 인터페이스(TCI)와의 폐쇄형 루프(closed-loop) 상호작용 추론을 평가하기 위한 벤치마크로, 9개 도메인에 걸친 1,170개의 자아중심 영상과 지시·행동·상태 전이·결과·복구 행동에 대한 구조화된 어노테이션을 제공한다. 최신 멀티모달 모델 실험 결과, 세밀한 시각적-시간적 지각, 결과 검증, 오류 복구 전반에서 지속적인 취약점이 드러나 폐쇄형 루프 구현형 지능 연구의 테스트베드로 주목된다.
토킹 헤드 생성(talking head generation) 기술이 GAN 기반 얼굴 애니메이션에서 확산 모델, 뉴럴 렌더링, 3D 아바타로 빠르게 발전해 온 흐름을 이미지·오디오·비디오·3D 렌더링 기반 네 가지 계열로 체계화한 종합 서베이로, 기존 정량적 지표와 지각적 품질 간의 격차를 분석하고 공개 모델들의 추론 속도·메모리 요구량·딥페이크 탐지 등 실용적 관점에서의 비교와 미해결 과제를 함께 제시한다.