PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00959v1cs.CV

GaussianEmoTalker: 오디오 기반 및 블렌드셰이프 기반 3D 가우시안 스플래팅을 이용한 실시간 감정 표현 토킹 헤드 합성

GaussianEmoTalker: Real-Time Emotional Talking Head Synthesis with Audio-Driven and Blendshape-Based 3D Gaussian Splatting

GaussianEmoTalker는 3D Gaussian Splatting 기반으로 오디오, 감정 범주, 강도를 입력받아 실시간으로 감정 표현 토킹 헤드를 합성하는 프레임워크로, 감정 애니메이션을 중립 상태에서 감정 상태로의 잔차 변형 문제로 정식화한다. GaussianBlendshapes로 구축한 중립 토킹 공간에 공간-오디오-감정 어텐션 모듈을 결합해 Gaussian 속성 오프셋을 예측하며, 실시간 렌더링과 제어 가능한 감정 강도를 동시에 달성했다.

arXiv:2607.00712v1cs.CV

인스턴스별 파라메트릭 흡수를 통한 메모리 효율적 자기회귀 비디오 생성을 향하여

Towards Memory-Efficient Autoregressive Video Generation via Instance-Specific Parametric Absorption

자기회귀(AR) 스트리밍 비디오 생성에서 KV 캐시가 선형적으로 증가해 메모리 과부하와 추론 속도 저하를 유발하는 문제를 해결하기 위해, ISPA(Instance-Specific Parametric Absorption)는 기존의 토큰 제거 방식 대신 과거 문맥을 폐쇄형 최소제곱 최적화를 통해 모델 가중치에 직접 흡수하는 방식을 제안한다. 1.3B~14B 규모의 다양한 아키텍처 실험에서 KV 캐시를 최대 50% 제거하면서도 시각적 품질 손실을 1% 이내로 유지하고, W8A8 양자화와 결합 시 1.86배의 추론 속도 향상을 달성했다.

arXiv:2607.00678v1cs.CV

ABot-M0.5: 통합 이동성-조작 월드 액션 모델

ABot-M0.5: Unified Mobility-and-Manipulation World Action Model

범용 로봇의 모바일 조작(mobile manipulation)을 위한 월드 액션 모델(WAM) ABot-M0.5는 시간적 세밀도, 액션 공간, 학습-테스트 일관성이라는 세 가지 정합 문제를 해결하기 위해 중간 잠재 액션(intermediate latent actions), 이중 수준 전문가 혼합(MoE) 트랜스포머, 드림-포싱(dream-forcing) 학습 전략을 도입했다. 도전적인 모바일 및 세밀 조작 벤치마크에서 장기 과제 성공률과 세밀한 제어 정확도 모두 최첨단 성능을 달성했다.

arXiv:2607.00310v1cs.CV

RetailSMV: 소매업 분야 파운데이션 비디오 월드 모델의 외재적 vs. 자아중심적 적응

RetailSMV: Exocentric vs. Egocentric Adaptation of Foundation Video World Models in Retail

파운데이션 비디오 확산(diffusion) 모델은 점점 더 구현된 에이전트(embodied agents)를 위한 월드 시뮬레이터로 간주되고 있으나, 인터넷 규모의 일반 비디오에 대한 사전학습으로 인해 실제 배포 도메인과의 정렬이 부족한 상태입니다. 본 연구에서는 사전학습된 파운데이션 비디오 월드 모델을 소매 환경에 매개변수 효율적으로 적응시키는 방법을 연구합니다: 동일한 활동의 동기화된 자아중심적(egocentric) 및 외재적(exocentric) 비디오가 모두 제공될 때, 어떤 시점의 학습 데이터가 가장 강력하게 적응된 모델을 생성하는가? 우리는 RetailSMV(Retail Synchronized Multi-View)를 소개합니다. 이는 기존 소매 비디오 코퍼스의 고객 중심 프레이밍이 아닌 매장 직원 시점(재고 채우기, 정리, 계량, 공급 카트 관리, 계산대 스캔)에서 동기화된 자아중심/외재적 캡처로 수집한 5개 슈퍼마켓의 32,105개 캡션이 있는 소매 클립 코퍼스이며, 동일한 하이퍼파라미터 하에 Cosmos3-Nano의 세 가지 매칭된 저랭크 적응(LoRA) 구성(자아중심 전용, 외재적 전용, 결합)을 학습시킵니다. 엄격한 쌍별 통계 프로토콜 하에 7가지 보완 지표로 평가된 200개 클립의 홀드아웃 테스트 세트에서, 외재적 전용 적응은 7개 포인트 추정치 중 6개에서 결합 적응과 동등하거나 이를 초과하며, 결합 방식의 32,105개에 비해 15,985개의 외재적 클립만으로 학습했음에도 불구하고 LPIPS, PSNR, DreamSim에서 유의미하게 더 우수한 성능을 보입니다. 대칭 쌍별 비교를 통해, 자아중심 전용 학습에 외재적 데이터를 추가하면 성능이 향상되는 반면, 외재적 전용 학습에 자아중심 데이터를 추가하면 성능이 저하됨을 추가로 보여줍니다. 절대적인 적응 격차는 가장 짧은 롤아웃 시간에서 가장 크며, 이는 근거리 예측 윈도우가 적응이 가장 유익한 영역임을 보여줍니다.

arXiv:2601.11641v3cs.CV

Mixture of Distributions Matters: Dynamic Sparse Attention for Efficient Video Diffusion Transformers

비디오 생성용 Diffusion Transformer(DiT)의 셀프-어텐션 이차 복잡도 문제를 해결하기 위해, MOD-DiT는 어텐션 맵이 블록-대각선, 주대각선 평행, 수직 세 가지 패턴의 동적 혼합으로 구성된다는 사실을 활용하여 샘플링 없이 디노이징 단계별 스파스 마스크를 선형 근사로 예측한다. 다수의 벤치마크에서 Wan2.1 대비 1.75×, HunyuanVideo 대비 2.05× 추론 가속을 달성하면서 생성 품질을 유지함을 입증했다.

arXiv:2512.15702v2cs.CV

End-to-End Training for Autoregressive Video Diffusion via Self-Resampling

자기 재샘플링(self-resampling)을 통해 훈련 중 추론 시의 오류를 시뮬레이션하는 교사 모델 없는 종단간 학습 프레임워크 Resampling Forcing를 제안하여, 자기회귀 비디오 확산 모델의 노출 편향(exposure bias) 문제를 해결한다. 희소 인과 마스크와 파라미터 없는 히스토리 라우팅 메커니즘을 결합해 장기 비디오 생성에서 증류 기반 기준선과 동등한 품질을 달성하면서도 더 우수한 시간적 일관성을 보인다.

arXiv:2512.09112v3cs.CV

GimbalDiffusion: Gravity-Aware Camera Control for Video Generation

GimbalDiffusion은 중력 방향을 전역 기준으로 삼는 절대 좌표계 기반 카메라 제어 프레임워크로, 360° 파노라마 영상을 학습 데이터로 활용해 기존 방법이 처리하지 못한 극단적인 피치·롤 회전을 포함한 다양한 카메라 궤적을 텍스트-비디오 생성 모델에 적용한다. 또한 프롬프트 내용과 카메라 방향의 충돌을 방지하는 null-pitch conditioning 기법과 극단적 카메라 앵글 및 프롬프트-카메라 얽힘(entanglement)을 평가하는 새로운 벤치마크를 제안한다.

arXiv:2607.00836v1cs.RO

From World Models to World Action Models: A Concise Tutorial for Robotics

로봇공학에서 월드 모델(world model)의 개념적 범위가 커뮤니티마다 모호하게 사용되는 문제를 해소하기 위해, 이 튜토리얼은 월드 모델을 행동 조건부 예측 모델로 정의하고 관측 공간(observation-space)과 상태 공간(state-space) 모델로 분류하는 설계 공간 분류 체계를 제시한다. 나아가 예측된 미래 상태를 실행 가능한 로봇 행동과 연결하는 월드 액션 모델(world action model)을 소개하고, imagine-then-execute, 비디오 특징 조건부 행동 예측, 공동 비디오-행동 모델링, 정책 학습을 위한 보조 비디오 예측 등 네 가지 대표 패러다임을 정리한다.

arXiv:2606.30292v1cs.LG

DreamForge-World 0.1 프리뷰: 저연산 실시간 제어 가능한 월드 모델

DreamForge-World 0.1 Preview: A Low-Compute Real-Time Controllable World Model

소비자용 GPU에서 실시간 인터랙티브 월드 시뮬레이션을 구현하기 위해, Wan2.1-T2V-1.3B 기반의 LongLive 1 자기회귀 비디오 스택에 Matrix-Game 계열의 잔차 액션 경로(residual action pathway)를 결합한 DreamForge-World 0.1 Preview를 제안한다. 저연산 적응에 초점을 맞춰 단일 RTX 4090에서 480p 해상도로 최대 14~15 FPS를 달성하며, 실시간 키보드·마우스 제어, 멀티모달 초기화, 스트리밍 중 재프롬프팅(mid-stream reprompting), 듀얼 뷰 동작 등 광범위한 인터랙티브 기능을 지원한다.

arXiv:2606.28531v1cs.MM

좋은 발표는 요약처럼 보이지 않는다, 가르쳐야 한다! 논문-to-비디오 발표에서 핵심 전달 내용 측정

A Good Talk Does not Look Like a Summary, It Teaches You! Measuring Takeaways from Paper-to-Video Talks

과학 논문에서 자동 생성된 비디오는 교육 및 연구 보급에 점점 더 많이 활용되고 있다. 그러나 기존 평가 지표들은 주로 시각적 품질이나 논문의 핵심 내용이 비디오에 등장하는지 여부를 측정할 뿐, 비디오가 실제로 시청자의 아이디어 이해에 도움이 되는지는 평가하지 않는다. 우리는 과학 발표 비디오의 교육적 품질을 평가하는 프레임워크인 EffectivePresentationScorer를 소개한다. 이 프레임워크는 비디오가 주요 아이디어를 명확하게 설명하는지, 필요한 배경 개념을 소개하는지, 기술적 세부 사항을 논문의 주요 기여와 연결하는지를 확인한다. EffectivePresentationScorer를 기존 논문-to-비디오 생성 시스템에 적용한 결과, 생성된 비디오들이 올바른 주제를 언급하고 논문의 구조를 따르기는 하지만, 선수 개념을 설명하거나 해당 방법이 왜 효과적인지 명확히 하는 데는 실패하는 것으로 나타났다. 이러한 실패들은 설명적 품질보다 내용의 존재 여부에 초점을 맞추는 기존 비디오 평가 지표에 의해 종종 간과된다.

arXiv:2606.30045v1cs.CV

임플리시트 공간에서 걷기: 신경 장면 표현을 통한 인터랙티브 세계 탐험

Walking in the Implicit: Interactive World Exploration via Neural Scene Representation

카메라 제어 세계 탐험을 위한 인터랙티브 비디오 생성 시스템은 점점 늘어나는 잠재 비디오 프레임 시퀀스를 롤아웃하며, 상태 전이와 고주파 관측 합성을 서로 얽히게 한다. 우리는 롤아웃 변수를 프레임 잠재 변수에서 고정 길이의 렌더링 가능한 임플리시트 상태인 신경 임플리시트 장면(Neural Implicit Scene, NIS)으로 변경하는 장면 중심 패러다임 Walking in the Implicit을 제안한다. 이는 인터랙티브 생성을 압축된 장면 상태의 확률적 전이와 샘플링된 상태에 조건부로 수행되는 결정론적 포즈 조건부 렌더링으로 분해한다. 우리는 이 패러다임을 NeuWorld로 구현한다: 트랜스포머 VAE는 희소한 포즈드 프레임으로부터 국소적으로 고정된 NIS를 학습하고, 확산 트랜스포머는 미래 카메라 궤적과 기하학 인식 검색 히스토리를 조건으로 NIS를 발전시킨다. VAE 인코더를 통합 조건화 장치로 재사용함으로써, NeuWorld는 카메라, 참조 이미지, 히스토리 단서를 동일한 NIS 모달리티로 매핑하여 외부 이종 인코더를 사용하지 않는다. 사전학습된 비디오 백본이나 보조 3D 재구성기 없이 공개된 포즈드 뷰 데이터로 처음부터 학습된 NeuWorld는 우수한 추론 효율성과 함께 강력한 장기 일관성을 달성한다.

arXiv:2606.30019v1cs.CV

OmniDance: 대규모 인터넷 데이터를 활용한 멀티모달 기반 댄스 비디오 생성

OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

음악 기반 댄스 비디오 생성은 음악과 시간적으로 정렬된 표현력 있는 인체 동작을 높은 시각적 충실도를 유지하면서 합성하는 것을 목표로 한다. 최근 진전에도 불구하고, 기존 방법들은 두 가지 핵심 한계에 직면해 있다: 대규모 고품질 댄스 비디오 데이터셋의 부재, 그리고 음악을 비디오 생성 기반 모델의 보완적 조건 신호로 통합하기 위한 원칙적 프레임워크의 결여이다. 이러한 한계를 해결하기 위해, 우리는 점진적 전문가 파이프라인을 통해 구축된 안무 정보 기반 텍스트 주석을 갖춘 대규모 인터넷 기반 댄스 비디오 데이터셋인 CIPE-Dance를 소개한다. 우리가 아는 한, CIPE-Dance는 현재까지 댄스 비디오 생성을 위한 가장 큰 데이터셋으로, 400시간 이상에 걸친 30만 개의 고품질 클립으로 구성되어 있으며 다양한 댄서, 환경, 댄스 장르를 포함한다. 나아가 우리는 OmniDance를 제안하는데, 이는 텍스트-이미지-투-비디오(TI2V) 기반 모델에 음악을 통합하되 원래의 제어 가능성과 시각적 충실도를 희생하지 않는 프레임워크 수준의 레시피이다. 텍스트가 저주파 의미론으로, 음악이 고주파 시간적 동역학으로서 상보적 역할을 한다는 점에 착안하여, OmniDance는 깊이 인식 특화 아키텍처, 앵커 기반 쉬움-에서-어려움 커리큘럼 학습 전략, 모달리티 특화 시간 의존적 CFG 전략을 공동 설계함으로써, 통합된 TI2V, MI2V, MTI2V 생성을 가능하게 한다. CIPE-Dance에 대한 광범위한 실험을 통해 OmniDance가 세 가지 과제 모두에서 최첨단 성능을 달성하고 강력한 멀티모달 통합 능력을 보임을 입증한다. 프로젝트는 https://github.com/AMAP-ML/OmniDance에서 확인할 수 있다.

arXiv:2606.30145v1cs.AI

FacePlex: Full-Duplex Joint Speech-Facial Motion Generation for Conversational Avatars

Natural face-to-face conversation requires real-time speech generation together with synchronized facial motion. Existing systems only partially address this problem: speech-only full-duplex models can generate speech in real time but do not produce facial motion, while audio-driven facial motion models animate a face from already available audio rather than jointly generating speech and motion online. To bridge this gap, we first formalize full-duplex joint speech-facial motion generation, where speech tokens and facial motion tokens are produced together every step. Building on this formulation, we propose FacePlex, a unified streaming framework with two key components. First, Rolling Flow Matching adapts flow matching to online motion generation by committing new motion frames at each streaming step. Second, Rolling Cross-Attention couples the streaming audio queue with the motion queue, allowing speech and facial motion to condition each other as generation progresses. Through extensive experiments, ablation studies, and a user study, we show that FacePlex enables full-duplex joint speech-facial motion generation under online streaming constraints, while achieving stronger lip-sync quality and motion fidelity than audio-driven facial motion baselines.

arXiv:2606.28385v1cs.RO

RoboGaze: Evaluating Robot World Models via Structured Vision-Language Analysis

Recent advances in robot world models enable synthetic video generation for embodied prediction and planning. However, evaluating these videos is challenging: visually realistic outputs often violate physical laws, temporal consistency, or task logic, while conventional metrics and monolithic Vision-Language Model (VLM) judges fail to generalize or provide precise diagnostic value. We present RoboGaze, a training-free, multi-agent VLM framework that provides structured, interpretable evaluation for generated robot-manipulation videos. Given a task instruction and video, RoboGaze operates via a three-stage pipeline: task-scene grounding, dimension-specific specialist routing, and critic-based verification. It outputs temporally localized glitch reports categorized under a novel 6-dimension, 30-type robotics-specific taxonomy. To benchmark RoboGaze, we introduce a human-validated dataset of 382 clips spanning simulated and real-world multi-view manipulation. Evaluating eight open-source and proprietary VLM backbones, RoboGaze dramatically outperforms zero-shot baselines, improving description-F1 by up to +43 points and temporal alignment (F1 x IoU) by up to +37 points, closing approximately 85% of the gap to the human ceiling. Furthermore, its critic verifier mitigates the "cry-wolf" false-positive flaw of standard VLMs, lifting clean-clip accuracy from under 25% to over 80%. RoboGaze offers a scalable, highly interpretable diagnostic tool for the rigorous evaluation of robot world models.

arXiv:2606.28128v1cs.CV

PhysisForcing: 로봇 조작을 위한 물리 강화 세계 시뮬레이터

PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation

비디오 생성 모델은 임베디드 세계 시뮬레이션을 위한 유망한 패러다임으로 떠올랐다. 하지만 일반 도메인 비디오 생성기와 로봇 특화 데이터로 파인튜닝된 모델 모두 여전히 불연속적인 동작 궤적과 일관되지 않은 로봇-객체 상호작용을 포함한 물리적으로 비현실적인 조작을 생성할 수 있으며, 이는 세계 시뮬레이터로서의 신뢰성을 제한한다. 광범위한 실험을 통해, 이러한 물리적 불안정성은 주로 두 가지 요인에서 비롯됨을 발견했다: 움직이는 객체의 변형과 상호작용하는 개체 간의 비현실적인 시공간적 상관관계, 특히 접촉 중에 나타난다. 이 관찰에 기반하여, 픽셀 수준 및 의미 수준 특징의 공동 최적화를 통해 물리적으로 정보가 풍부한 영역에 감독을 집중하여 물리적 일관성을 강화하는 확장 가능한 학습 프레임워크 PhysisForcing을 제안한다. 이 프레임워크는 참조 점 궤적을 사용하여 DiT 특징에 감독하는 픽셀 수준 궤적 정렬 손실과, 고정된 비디오 이해 인코더에서 추출한 영역 간 관계와 DiT 특징을 정렬하는 의미 수준 관계 정렬 손실로 구성된다. R-Bench, PAI-Bench, EZS-Bench에서의 광범위한 실험은 PhysisForcing이 강력한 베이스라인 대비 임베디드 비디오 생성을 지속적으로 개선함을 보여주며, R-Bench에서 Wan2.2-I2V-A14B 및 Cosmos3-Nano 베이스 모델을 각각 22.3% 및 9.2% (바닐라 파인튜닝 대비 7.1% 및 3.7%) 개선하고, Cosmos3-Nano 변형이 전체 최고 점수를 달성한다. 생성을 넘어서, WorldArena action-planner 프로토콜 하의 세계 모델으로서 폐루프(closed-loop) 성공률을 16.0%에서 24.0%로 높이고 하향식 정책(policy) 성공을 더 개선하여, 물리적으로 정렬된 비디오 모델이 로봇 조작을 위한 더 강한 표현(representation)을 산출함을 시사한다.

arXiv:2606.28026v1cs.CV

EMOSH: 인간 애니메이션을 위한 표현적 모션 및 형태 분리

EMOSH: Expressive Motion and Shape Disentanglement for Human Animation

고품질의 표현력 있는 제어 가능한 인간 애니메이션은 콘텐츠 제작 및 디지털 아바타 애플리케이션에 필수적이다. 그러나 기존 방법들은 표현력과 분리(disentanglement) 사이의 딜레마에 직면한다. 주류 2D 포즈 조건화(pose-conditioned) 접근법은 "모션-형태 얽힘(motion-shape entanglement)" 문제로 인해 구동 주체의 체형이 누출되는 결과를 낳는다. 반대로 3D 사전지식(prior)(예: SMPL)에 의존하는 방법들은 기하학적 분리를 달성하지만, 표정과 복잡한 제스처를 포착하는 데 어려움을 겪어 경직된 애니메이션이 된다. 이에 본 논문은 고품질의 제어 가능한 인간 비디오 생성을 위한 새로운 프레임워크 EMOSH를 제안한다. 먼저 핵심 제어 표현(representation)으로 Expressive Human Model(EHM)을 도입한다. 형태(shape)와 포즈(pose) 파라미터를 명시적으로 분리함으로써 체형 누출 문제를 근본적으로 해결한다. 이와 함께, 비디오로부터 EHM 파라미터를 정확히 추정하는 견고한 모션 추적기(motion tracker)를 설계한다. 둘째, Coarse-to-Fine Hybrid Motion Injection 전략을 제안하여 표정과 제스처에 대한 보다 세밀한 제어를 가능하게 한다. 또한, 학습(training)과 추론(inference) 간의 도메인 격차를 메우고 정체성(identity) 일관성을 개선하기 위해 Spatially-Aligned Conditioning 메커니즘을 도입한다. 광범위한 실험을 통해 EMOSH가 자기 구동(self-driven) 및 교차 구동(cross-driven) 시나리오 모두에서 이전 방법들을 능가하며, 형태 분리를 유지하면서 생생한 표현을 갖춘 고품질 비디오를 생성함을 보여준다.

arXiv:2606.28016v1cs.CV

TempAct: 플래너-실행자 강화학습을 통한 자기회귀 비디오 생성의 시간적 타당성 향상

TempAct: Advancing Temporal Plausibility in Autoregressive Video Generation via Planner-Executor RL

자기회귀(AR) 비디오 확산 모델은 캐시된 시각적 컨텍스트를 활용해 비디오를 청크 단위로 합성함으로써 저지연 스트리밍 생성을 가능하게 하지만, 이러한 청크 단위 공식화는 시간적 지시 따르기를 모호하게 만든다. 단일 전역 프롬프트는 각 청크에서 어떤 하위 사건이 구현되어야 하는지 명시하지 않으며, 단계별 프롬프트로 단순 전환하는 경우 지연된 반응, 단계 의미의 혼합, 프롬프트 전환을 가로지르는 오류 전파가 종종 발생한다. 이러한 실패는 지도 미세조정이나 지식 증류만으로는 해결하기 어렵다: SFT는 노출 바이어스에 시달리며, 롤아웃 기반 지식 증류는 여전히 저수준 디노이징이나 교사 분포 매칭을 최적화할 뿐 행동 순서와 프롬프트 전환의 정확성을 직접 강제하지는 않는다. 이러한 과제를 TempAct로 해결한다. TempAct는 시간적으로 타당한 AR 비디오 생성을 위해 시간적 분해와 단계 조건 실행을 공동 최적화하는 플래너-실행자 강화학습 프레임워크이다. TempAct는 대규모 언어 모델(LLM) 플래너를 사용해 비디오 모델이 실행 가능한 구간 인식(span-aware) 단계 프롬프트를 탐험하고, AR 확산 실행자를 자체 생성 이력 하에서 이러한 프롬프트를 따르도록 학습한다. 핵심 메커니즘은 계층적 그룹 탐험이다: 후보 계획이 계획 그룹을 형성하고, 각 계획은 공유 시각적 컨텍스트에서 여러 연속 생성으로 구성된 실행 그룹을 유도하여, 장기 시간적 결과에 대한 계획 수준 신용 할당과 프롬프트 전환 행동에 대한 실행자 수준 신용 할당을 가능하게 한다. 또한 플래너에는 계획 품질과 전체 비디오 시간적 피드백을 결합한 계층적 보상을, 실행자에는 국소 전환 수준의 단계 따르기 보상, 미적 정규화, KL 제약을 설계한다. Self-Forcing과 LongLive에서의 실험은 TempAct가 전반적인 시각적 품질을 유지하면서 시간적 일관성을 향상시킴을 보여준다.

arXiv:2606.27964v1cs.CV

세계 연출: 구성적 인간-카메라 제어를 통한 빠른 자기회귀 비디오 생성

Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control

상호작용적 세계 모델(world model)을 구축하려면 장기 구간(long horizon)에 걸쳐 제어 가능한 동역학을 유지하면서 사실적인 비디오를 생성해야 한다. 자기회귀적(autoregressive) 비디오 생성은 확장 가능한 기반을 제공하지만, 긴 롤아웃 동안 오류 누적과 시간적 품질 저하에 시달린다. 이 문제는 인간 동작과 카메라 궤적과 같은 이질적(heterogeneous) 제어 하에서 더욱 악화되며, 이러한 제어는 서로 간섭하여 사전학습(pre-training)된 비디오 사전(prior)을 불안정하게 만들 수 있고, 기존 방법들은 종종 제어 가능성과 시각적 품질 사이에서 트레이드오프를 한다. 우리는 구성적(compositional) 인간 동작 및 카메라 궤적 제어를 갖춘 제어 가능한 세계 모델 비디오 생성을 위한 빠른 자기회귀 프레임워크인 "Directing the World"를 제안한다. 핵심 아이디어는 통합된 자기회귀 비디오 사전을 유지하면서 제어 학습을 분리(decouple)하는 것이다. 장기 구간 롤아웃 학습을 안정화하고 수렴을 개선하기 위해 Fast-Slow Memory 학습(training) 전략을 도입한다. 인간 동작 제어를 위해 t-guided Dynamic Projection 메커니즘과 정교화된 Motion-CFG 전략을 설계하여, 시각적 충실도(visual fidelity)를 저하시키지 않으면서 시간적으로 부드럽고 정확한 동작 정렬(motion alignment)을 가능하게 하고 다인(multi-person) 제어를 지원한다. 견고한 동작 사전을 학습한 후, 일관된 세계 탐험(exploration)을 위해 인간 동역학과 시점(viewpoint) 변화를 구성(composition)하는 2단계 카메라 궤적 제어 모듈을 도입한다. 또한 분리된 학습을 위해 동작 중심(motion-centric) 및 카메라 중심(camera-centric) 부분집합으로 구성된, 동기화된 비디오, 텍스트, 인간 동작, 카메라 궤적 주석이 포함된 대규모 데이터셋(dataset)을 구축한다. 광범위한 실험은 정밀한 제어 가능성과 높은 시각적 품질을 갖춘 안정적인 장기 구간 생성을 보여준다. 자세한 내용은 https://whydahuzi.github.io/Directing-the-World.github.io/ 에서 확인할 수 있다.

arXiv:2606.27779v1cs.CV

MindFlow: 이면 대화에서 얼굴 애니메이션 생성을 위한 인지적 의미와 음향 동역학의 조화

MindFlow: Harmonizing Cognitive Semantics and Acoustic Dynamics for Facial Animation Generation in Dyadic Conversations

이면 대화를 위한 생생한 얼굴 애니메이션 생성은 고수준의 인지적 의도와 정밀한 저수준 운동 반사를 조화시켜야 하지만, 기존 방법들은 대화 맥락의 의미 이해와 정밀한 동적 제어에서 부족하다. 본 논문에서는 신경과학의 Ventral-Dorsal(복측-배측) 경로 모델에서 영감을 받아 생성을 두 개의 협력적 스트림으로 분리함으로써 깊은 의미 추론과 세밀한 제어를 조화시키는 이중 경로 생성 프레임워크 MindFlow를 제안한다. Ventral 모듈에서는 기존 Sentence-Action(문장-행동) 접근법을 새로운 Chunk-State(청크-상태) 접근법으로 변환하여, 원시 음향 스트림을 맥락 인식형 진화하는 감정 상태 체인으로 모델링하고, 문장 수준 모델링이 놓치는 미묘한 부언어적 뉘앙스와 발화 중간의 감정 변화를 포착한다. Dorsal 모듈은 고주파 음향 단서에 의해 구동되고 감정 상태에 의해 변조되는 고충실도 얼굴 움직임을 위한 조건부 자기회귀 flow matching 네트워크와, 말하기-듣기 역학에서 간섭 없이 견고성을 보장하기 위한 적응형 오디오 게이팅을 위한 Selective Acoustic Injector를 특징으로 한다. 광범위한 실험을 통해 MindFlow가 최신(state-of-the-art) 기준 방법들 대비 우수한 의미적 적절성과 움직임 자연스러움을 달성함을 보여준다.

arXiv:2606.27677v1cs.RO

DIM-WAM: 다양한 과거 이벤트 메모리를 활용한 World-Action 모델링

DIM-WAM: World-Action Modeling with Diverse Historical Event Memory

World-action 모델은 미래 시각 상태와 행동을 공동으로 예측함으로써 유망한 로봇 조작(manipulation) 성능을 보여왔다. 그러나 기존 방법은 주로 단기 기록과 단기 예측 지평(short-horizon future prediction)에 의존하며, 이는 초기 관측과 작업 진행률에 올바른 실행이 의존하는 장기(long-horizon) 작업에는 불충분하다. 이러한 시간적 의존 작업은 최근의 국소적 문맥, 단계 간 과거 이벤트, 즉각적인 미래 동역학, 전역 작업 진행률을 포함한 상호 보완적인 시간 정보의 효과적 활용을 요구한다. 장기 망각과 전역 작업 상태에 대한 낮은 인식을 해결하기 위해, 우리는 다중 스케일 과거 문맥, 국소적 미래 동역학, 전역 작업 진행률을 통합하는 메모리 증강(memory-augmented) world-action 모델인 DiM-WAM을 제안한다. 메모리는 실제 관측에서 압축된 시각 이벤트 정보를 추출하고, 독립적인 유사도 기반 병합을 통해 여러 메모리 뱅크를 갱신한 뒤, 뱅크 식별자 및 시간 임베딩된 장기 문맥을 읽어 영상 및 행동 디노이징(denoising)을 조건화한다. 진행률 감독(progress-supervision) 목적 함수는 메모리 토큰이 완료된 과거 이벤트뿐 아니라 현재 작업 단계와 남은 작업에 대한 함의까지 인코딩하도록 추가로 유도한다. RMBench에서 DiM-WAM은 LingBot-VA의 28.4%에서 평균 성공률을 69.8%로 끌어올려, 42.0%인 명시적 메모리 Mem-0 기준선을 능가한다. 네 가지 실제 Franka 작업에서 평균 단계 성공률을 70.7%에서 91.5%로, 전체 작업 성공률을 52.5%에서 80.0%로 향상시킨다. 프로젝트 페이지: https://wangkai-casia.github.io/dim-wam/