PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.05394v3cs.CV

Delving into Latent Spectral Biasing of Video VAEs for Superior Diffusability

Latent diffusion models pair VAEs with diffusion backbones, and the structure of VAE latents strongly influences the difficulty of diffusion training. However, existing video VAEs typically focus on reconstruction fidelity, overlooking latent structure. We present a statistical analysis of video VAE latent spaces and identify two spectral properties essential for diffusion training: a spatio-temporal frequency spectrum biased toward low frequencies, and a channel-wise eigenspectrum dominated by a few modes. To induce these properties, we propose two lightweight, backbone-agnostic regularizers: Local Correlation Regularization and Latent Masked Reconstruction. Experiments show that our Spectral-Structured VAE (SSVAE) achieves a $3\times$ speedup in text-to-video generation convergence and a 10\% gain in video reward, outperforming strong open-source VAEs. The code is available at https://github.com/zai-org/SSVAE.

arXiv:2506.08797v3cs.CV

HunyuanVideo-HOMA: 멀티모달 기반 인간 애니메이션에서의 범용 인간-객체 상호작용

HunyuanVideo-HOMA: Generic Human-Object Interaction in Multimodal Driven Human Animation

인간-객체 상호작용(HOI) 비디오 생성의 핵심 한계—구체적으로 정제된 모션 데이터에 대한 의존, 새로운 객체/시나리오에 대한 제한된 일반화, 제한된 접근성—를 해결하기 위해, 약하게 조건화된 멀티모달 기반 프레임워크인 HunyuanVideo-HOMA를 제안한다. HunyuanVideo-HOMA는 희소하고 분리된(decoupled) 모션 가이던스를 통해 제어 가능성을 향상시키고 정밀한 입력에 대한 의존성을 줄인다. 외형(appearance) 및 모션 신호를 멀티모달 확산 트랜스포머(MMDiT)의 이중 입력 공간에 인코딩하고, 공유 컨텍스트 공간 내에서 이를 융합하여 시간적으로 일관되고 물리적으로 타당한 상호작용을 합성한다. 학습을 최적화하기 위해, 사전학습된 MMDiT 가중치로 초기화된 매개변수 공간 HOI 어댑터—기존 지식을 보존하면서 효율적인 적응을 가능하게 함—와 해부학적으로 정확한 오디오 기반 입술 동기화를 위한 얼굴 크로스-어텐션 어댑터를 통합한다. 광범위한 실험은 약한 감독(weak supervision) 하에서 상호작용 자연스러움과 일반화에서 최첨단(state-of-the-art) 성능을 확인한다. 마지막으로, HunyuanVideo-HOMA는 사용자 친화적인 데모 인터페이스와 함께 텍스트 조건 생성 및 대화형 객체 조작에서 다양성을 보여준다. 프로젝트 페이지는 https://bone-11.github.io/homa-page/ 에 있다.

arXiv:2607.21522v1cs.RO

GS-Agent: 생성 시뮬레이션으로 4D 물리 세계 생성

GS-Agent: Creating 4D Physical Worlds With Generative Simulation

자연어 설명으로부터 동적이고 물리적으로 사실적인 4D 세계를 생성하는 것은 흥미롭기도 하고 도전적이기도 하다. 전통적인 컴퓨터 그래픽스(computer graphics) 방법은 수동 생성에 의존하며, 재질, 움직임, 시각적 충실도를 파인튜닝(fine-tuning)하기 위해 상당한 인적 노력이 필요하다. 생성형 기반 모델(generative foundation models)의 최근 발전은 대규모 데이터로부터 이러한 4D 세계를 생성하는 학습에 대한 관심을 불러일으켰다. 그러나 기존 방법들은 여전히 물리적 타당성(physical plausibility)과 제어 가능성(controllability)을 보장하는 데 어려움을 겪는다. 본 연구에서는 기반 모델(foundation models)을 활용하여 인간이 전통적으로 4D 세계를 생성하는 방식을 모방하면서도 전 과정을 자동화하는 에이전트적(agentic) 시스템을 구축하는 다른 접근을 취한다. GS-Agent를 제안한다. 이는 루프 내 물리 엔진(physics engines in the loop)을 통합하여 자연어로부터 사실적이고 동적이며 제어 가능한 4D 물리 세계를 생성하는 end-to-end 다중 에이전트(multi-agent) 프레임워크이다. 인간이 4D 세계를 구축하는 방식에서 영감을 받아, GS-Agent는 작업을 엔티티 관리(entity management)와 렌더링 구성(rendering configuration)으로 분해한다. 전자는 3D 에셋 큐레이션(3D asset curation), 재질 튜닝(material tuning), 배치(placement), 운동 제어(motion control)를 포함하고, 후자는 카메라 및 조명 조작(camera and lighting manipulation)을 포함한다. 서로 다른 전문성을 갖춘 여러 에이전트가 코드를 통해 물리 엔진과 상호작용하고, 멀티모달(multimodal) 피드백을 구하며, 협력하여 주어진 설명과 일치하는 4D 세계를 반복적으로 구축한다. 실험 결과는 GS-Agent가 자연어를 다양하고 물리적으로 타당한 4D 세계로 효과적으로 변환하며, 액체, 변형 가능 객체(deformable objects), 강체(rigid bodies) 간의 풍부한 상호작용을 보여주고, 영화적(cinematic) 카메라 및 조명 제어를 달성함을 보여준다. GS-Agent를 4D 세계 생성의 새로운 패러다임의 기반으로 상상하며, 창의적 콘텐츠 생성과 물리 AI(physical AI)를 가능하게 할 것으로 기대한다. 프로젝트 페이지: https://umass-embodied-agi.github.io/gs-agent/

arXiv:2607.21594v1cs.CV

월드 상태 레지스터를 갖춘 스트리밍 멀티-에이전트 자기회귀 확산 모델

Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers

멀티-에이전트 상호작용 월드 모델은 일관된 관측을 생성할 뿐만 아니라, 에이전트 간에 지속되고 시점(view)에 따라 진화하는 월드 상태를 유지해야 한다. 기존 자기회귀 비디오 확산 파이프라인은 관측 이력을 조건화 컨텍스트(conditioning context)로 전달하며, 이는 멀티-에이전트 및 멀티-뷰 설정에서 공유 상태를 유지하기 어렵게 만든다. 우리는 WorldWeaver(W^2)를 제안한다. 이는 롤아웃을 크로스-에이전트 월드 상태 레지스터로 보강하는 스트리밍 멀티-에이전트 비디오 확산 모델이다. 이 레지스터는 공유 월드 정보를 저장하고, 개별 에이전트 상태를 추적하며, 각 생성 청크(chunk) 이후 동적으로 갱신되는 학습 가능한 토큰(token)이다. 우리는 개별 에이전트 상태, 조감도(bird's-eye view)를 포함한 전역 상태 뷰, 장면 텍스트에 걸친 감독 신호로 이러한 레지스터를 그라운딩(grounding)한다. 또한 월드 상태 모델링과 시각적 프레임 모델링에 별도의 가중치를 사용하는 Mixture-of-Transformers 설계로 아키텍처를 개선한다. Minecraft 두 에이전트 비디오 생성에서의 광범위한 실험 결과, 명시적 월드 상태 모델링이 논리적 일관성과 생성 품질을 향상시킴을 보여준다.

arXiv:2607.21553v1cs.CV

SANA-Video 2.0: 효율적 비디오 생성을 위한 어텐션 잔차가 있는 하이브리드 선형 어텐션

SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation

우리는 통합 아키텍처 하에서 5B 및 14B 규모로 구현된 하이브리드 비디오 확산 트랜스포머인 SANA-Video 2.0을 소개한다. 단일 GPU에서 최대 720p의 고품질 비디오를 생성하도록 설계된 SANA-Video 2.0은 선형 어텐션의 유리한 장시퀀스 스케일링을 유지하면서 품질 면에서 전체 소프트맥스 비디오 DiT와 동등한 수준을 달성한다. 전 구간에서 이차 어텐션을 피하기 위해 Hybrid Linear-Softmax Attention은 O(N) 지배적 혼합을 위한 게이트 선형 어텐션과 3:1 비율의 주기적 게이트-소프트맥스 앵커를 결합하여, 순수 선형 어텐션이 결여한 full-rank 토큰 상호작용을 복원한다. 이 갱신된 표현을 깊이 방향으로 전파하기 위해 Block Attention Residuals(AttnRes)는 완료된 블록 요약을 이후 선형 층으로 라우팅하여 앵커 특징 재사용을 가능하게 하고, 깊은 층의 유효 rank를 약 12% 향상시킨다. 처음부터 학습을 통해 SANA-Video 2.0은 사전학습 모델을 선형화하는 대신 완전한 하이브리드를 직접 학습하며, 저해상도 프록시 연구를 통해 소프트맥스 25%가 최적의 품질-효율 트레이드오프임을 확인했다. 40단계 샘플링으로 SANA-Video 2.0은 단일 H100에서 480p 기준 13.2초 만에 VBench 점수 84.30을 달성하며, 훨씬 작은 지연 시간으로 훨씬 더 큰 소프트맥스 비디오 DiT와 경쟁력을 유지한다. 컴파일된 DiT 순전파는 720p/60s에서 일치하는 전체 소프트맥스 기준선보다 3.2배 빠르며, 이 격차는 비디오 길이가 길어질수록 더 커진다. 또한 풀스택 Sol-Engine 최적화(커널 융합, 캐싱, 희소 어텐션)는 이 하드웨어 친화적 백본을 추가로 3.58배 가속하여 5B 파이프라인을 720p/5s에서 13.06초로 단축하고, 단일 H100에서 Wan 2.2-A14B보다 120배 빠르게 만든다. 전반적으로 우리의 하이브리드 설계는 상당히 낮은 비용으로 소프트맥스 수준의 표현력을 회복하여, 확장 가능한 장시간·고해상도 비디오 생성을 가능하게 한다.

arXiv:2607.21434v1cs.CV

적응형 정체성 앵커링: 비디오 얼굴 스와핑을 위한 합성 페어드 지도의 폐루프 키프레임 배치

Adaptive Identity Anchoring: Closed-Loop Keyframe Placement for Synthetic Paired Supervision in Video Face Swapping

비디오 얼굴 스와핑에는 자연스러운 페어드 지도(paired supervision)가 없다. 한 사람의 얼굴이 다른 사람의 비디오 동작을 수행하는 실제 영상은 존재하지 않는다. 현재 가장 강력한 해답인 DreamID-V의 SyncID-Pipe는 실제 클립의 정확히 두 프레임—첫 프레임과 마지막 프레임—에서 정체성(identity)을 교체하고, 나머지는 포즈(pose) 시퀀스만으로 재생성하여 페어를 생성한다. 포즈는 스와핑된 정체성의 외형 정보를 담지 않으므로, 긴 클립, 가림(occlusion), 극단적인 포즈 변화에서 합성된 정체성은 앵커링되지 않은 긴 구간을 거치며 표류(drift)할 수 있다. 공개된 ablation 연구 중 앵커 개수나 배치를 검토한 것은 없다. 우리는 적응형 정체성 앵커링(AIA)을 제안한다: (i) 합성기를 임의의 앵커 집합에 일반화하며, 이는 프레임에 대한 조건화가 해당 토큰의 노이즈를 0으로 고정(clamping)하는 diffusion-forcing 스타일 트랜스포머에 구조적으로 자연스럽다; (ii) 폐루프(closed-loop) 피드백 루프로 앵커를 배치하며, 생성된 모든 프레임을 실제 참조 정체성과 대조해 점수를 매기고, 페어가 임계값을 통과하거나 예산을 소진할 때까지 최저 점수 프레임에 이미지 얼굴 스와핑 앵커를 삽입한다; (iii) 루프의 판정을 자동 데이터 필터로 재사용한다. 두 번째 병리 현상인 과도하게 매끄러운 피부의 뷰티 필터(beauty-filter) 느낌도 같은 근본 원인을 갖는다. 미세 텍스처(micro-texture)는 정체성과 마찬가지로 파이프라인의 어떤 목적 함수에도 반영되지 않는다. 따라서 우리는 AIA를 현실 참조 텍스처 복원(Reality-Referenced Texture Restoration)과 결합한다. 각 실제 프레임의 비얼굴 영역에서의 매칭된 re-graining, 실제 영상으로부터의 정체성 이하(sub-identity) 미세 텍스처의 밴드 분할(band-split) 전이, 그리고 영상 자체의 스펙트럼이 심판하는 두 번째 스펙트럴 수용 채널을 포함한다. 정체성 앵커 밀도는 조절 가능한 품질 다이얼이라고 주장하며, 제안을 검증하거나 반박할 수 있는 반증 가능한 실험—표류 대 간격 곡선, 동일 예산에서의 균등 대 적응형 배치, AIA로 생성된 데이터에 대한 student 학습, 인간 뷰티 필터 연구를 포함한 텍스처 ablation—을 명시한다.

arXiv:2607.21027v1cs.CV

GroupVideo: 다중 정체성 맞춤형 텍스트-투-비디오 생성

GroupVideo: Multi-Identity Customized Text-to-Video Generation

현재 정체성 맞춤형 비디오 생성 방법론은 대부분 단일 정체성 시나리오에 한정되어 있으며, 명시적인 정체성 분리 메커니즘이 부족하면 다중 정체성 설정에서 정체성 혼동이 자주 발생한다. 기존 다중 정체성 접근법은 얼굴 이미지를 입력 조건으로 이어 붙여 단일 정체성 프레임워크를 직접 확장하는 방식인데, 이는 부자연스러운 표정과 동작을 초래하며 "copy-paste" 현상으로 나타난다. 이러한 한계를 극복하기 위해, 우리는 여러 개인 사진을 활용하여 정체성 맞춤형 비디오를 생성하는 새로운 프레임워크인 GroupVideo를 제안한다. Video Diffusion Transformers를 기반으로 한 GroupVideo는 다중 모달 정체성 정렬(alignment)을 통합한다. 시각적 정렬은 여러 얼굴 이미지를 공동 인코딩하여 견고한 정체성 참조를 제공하고, 의미적 정렬은 semantic perceiver를 도입하여 동작의 자연스러움을 향상시킨다. 정체성 혼합을 해결하고 정체성 충실도를 높이기 위해 공간적 가이던스를 갖춘 ID localization 모듈을 도입하며, 얼굴 영역에 집중하고 학습 효율을 개선하기 위해 경계 상자 제약과 마스크 정규화 손실을 함께 사용한다. 다중 ID 비디오 데이터셋 부족에 대응하여, 우리는 2만 개의 고품질 비디오로 구성된 포괄적인 데이터셋을 구축하였으며, 이를 통해 다중 ID 비디오 생성 분야의 향후 연구를 촉진하는 중요한 자원을 마련하였다. 광범위한 실험을 통해 GroupVideo가 일관된 정체성과 자연스러운 동작을 갖춘 다중 캐릭터 비디오 생성에서 기존 방법들을 능가함을 보여준다.

arXiv:2607.20988v1cs.CV

HyWorldVLA: 자율주행을 위한 하이브리드 월드 모델링 비전-언어-행동(VLA) 모델

HyWorldVLA: A Vision-Language-Action Model with Hybrid World Modeling for Autonomous Driving

월드 모델링으로 보강된 비전-언어-행동(VLA) 모델은 종단간(end-to-end) 자율주행을 위한 유망한 패러다임을 나타낸다. 픽셀 수준의 미래 예측은 세밀한 시공간 추론을 가능하게 하지만, 노이즈가 많은 주행 시나리오에서 견고성을 희생한다. 반대로, 잠재(latent) 기반 월드 모델은 이러한 민감도를 완화하지만, 픽셀 수준 그라운딩(grounding)이 부재하여 해석 가능성이 제한되고 표현이 저하되는 경우가 많다. 이 트레이드오프를 조화시키기 위해, 우리는 픽셀 수준 감독과 잠재 표현 학습을 통합하는 하이브리드 world-VLA 프레임워크인 HyWorldVLA를 제안한다. 사전학습 단계에서 HyWorldVLA는 사전학습된 video VAE로 인코딩된 비디오 잠재(latent)를 예측하면서, 동시에 비디오 프레임을 재구성하여 정밀한 픽셀 수준 그라운딩을 제공한다. 이후 공동 미세조정(co-fine-tuning) 단계에서는 모델이 잠재 특징만을 예측하고, 이를 action expert에 입력하여 궤적을 생성한다. NAVSIM v1 및 v2 벤치마크에 대한 광범위한 실험 결과, HyWorldVLA가 픽셀 기반 및 잠재 기반 월드 모델 베이스라인을 모두 크게 능가함을 보여준다. 특히, 우리는 자율주행에서 월드 모델의 노이즈 견고성에 대한 최초의 포괄적인 정성 및 정량 분석을 제시하며, 향후 아키텍처 평가를 위한 새로운 벤치마크를 마련한다.

arXiv:2607.20940v1cs.CV

Ms. Forcing: 다중 스케일 패치화와 어텐션을 활용한 효율적 스트리밍 비디오 생성

Ms. Forcing: Efficient Streaming Video Generation with Multi-Scale Patchification and Attention

스트리밍 비디오 확산(diffusion) 모델은 대화형 및 동적 세계 시뮬레이션 쪽으로 상당한 진전을 이루었지만, 기존의 다음 프레임 생성 방식이 갖는 중첩된 자기회귀(autoregressive) 및 디노이징(denoising) 루프는 실시간 배포를 저해한다. 최근 롤링 윈도우(rolling-window) 방법들은 서로 다른 노이즈 수준의 여러 연속 프레임에 걸쳐 디노이징을 파이프라인화하여 처리량과 장기간(long-horizon) 안정성을 개선한다. 그러나 이들은 모든 상태를 동일한 세밀한 공간 세분화(granularity)로 토큰화하여, 공동 디노이징 윈도우에 상당한 노이즈 의존적 중복을 남긴다. 우리는 각 상태의 노이즈 수준에 공간 세분화를 적응시키는 효율적인 스트리밍 비디오 생성 패러다임인 Ms.Forcing을 제안한다. Multi-Scale Patchification(MSP)은 더 노이즈가 많은 상태에 더 거친 패치를 할당하여 활성 윈도우 토큰 수를 45% 줄이며, Multi-Scale Self-Attention(MSSA)은 각 쿼리 스케일에 맞게 보이는 non-sink 키와 값의 밀도를 맞춰 어텐션 비용을 더 줄인다. 두 스케줄 모두 윈도우 위치에 의해 고정되므로, Ms.Forcing은 정적이고 하드웨어 친화적인 연산 그래프를 유지한다. 우리는 Homogeneous-Noise-Level DMD(H-DMD)를 추가로 도입하는데, 이는 동일한 소스 노이즈 수준을 공유하는 깨끗한 예측들로 각 fake video를 구성하여 DMD 학습 시퀀스와 추론 시 롤아웃 간의 불일치를 줄인다. 다중 스케일 설계는 겹치는 윈도우를 통한 역전파(backpropagation)의 추가 학습 비용을 상쇄하는 데 도움이 된다. 정량적 및 정성적 실험을 통해 Ms.Forcing이 단일 H200 GPU에서 22.84 FPS에 도달하며 Rolling Forcing보다 39.6% 빠르고, 짧은 비디오 및 긴 비디오 생성 설정 모두에서 VBench 점수를 크게 개선함을 보인다.

arXiv:2604.09168v3cs.CV

ELT: Elastic Looped Transformers for Visual Generation

We introduce Elastic Looped Transformers (ELT), a highly parameter-efficient class of visual generative models based on a recurrent transformer architecture. While conventional generative models rely on deep stacks of unique transformer layers, our approach employs iterative, weight-shared transformer blocks to drastically reduce parameter counts while maintaining high synthesis quality. To effectively train these models for image and video generation, we propose the idea of Intra-Loop Self Distillation (ILSD), where student configurations (intermediate loops) are distilled from the teacher configuration (maximum training loops) to ensure consistency across the model's depth in a single training step. Our framework yields a family of elastic models from a single training run, enabling Any-Time inference capability with dynamic trade-offs between computational cost and generation quality, with the same parameter count. ELT significantly shifts the efficiency frontier for visual synthesis. With $4\times$ reduction in parameter count under iso-inference-compute settings, ELT achieves a competitive FID of $2.0$ on class-conditional ImageNet $256 \times 256$ and FVD of $72.8$ on class-conditional UCF-101.

arXiv:2607.20247v1cs.CV

Vera: 정체성 충실 인물 주체-영상(S2V) 생성

Vera: Identity-Faithful Human Subject-to-Video Generation

주체-영상(S2V) 생성은 다양한 범주에 걸쳐 참조 주체를 보존하는 데 상당한 진전을 이루었지만, 일반적인 주체 일관성은 인물 중심 생성에는 여전히 불충분하다. 영상은 전역적으로 일관된 것처럼 보일 수 있지만, 정체성에 중요한 인물 세부 정보는 프레임, 포즈, 상호작용에 걸쳐 여전히 표류할 수 있다. 이 문제는 다인 시나리오에서 더 심각해지며, 여기서 잘못된 정체성-역할 결합은 주체 혼동, 속성 교환, 참조 이미지 고유 외형 단서의 과도한 복제를 초래한다. 우리는 단일 및 다인 생성을 위한 통합 인물 중심 S2V 프레임워크인 Vera를 제안한다. 우리는 먼저 사람 수준의 클립 간 검색(person-level cross-clip retrieval)을 통해 백만 쌍 규모의 정체성 정렬 인물 이미지-영상 데이터셋을 구축하여, 명시적 정체성 대응과 다양한 참조를 제공한다. 이 데이터셋을 기반으로 Vera는 두 가지 상호 보완적 설계를 도입한다. Identity-Focal Masked Supervision(IFMS)은 공간적으로 집중된 감독으로 정체성 인식 학습을 강화하면서 무관한 아티팩트의 간섭을 줄인다. Reference-Aware Layer-wise Attention(RALA)은 DiT 백본에서 영상 토큰이 참조 정체성 단서와 상호작용하는 방식을 조절하여, 안정적인 정체성 앵커를 보존하고 층 인식 정체성 readout을 향상시킨다. 광범위한 실험을 통해 Vera가 인물 정체성 일관성, 다인 주체 결합, 모션 자연스러움을 개선하고, 정체성 혼동과 참조 이미지의 과도한 복제를 줄임을 보여준다.

arXiv:2607.20174v1cs.CV

StreamHOI: 스트리밍 HOI 비디오 생성을 위한 상호작용 인식 시간적 메모리 적응

StreamHOI: Interaction-aware Temporal Memory Adaptation for Streaming HOI Video Generation

기존 인간-객체 상호작용(HOI) 비디오 생성 방법은 대부분 복잡한 구동 조건 하에서의 오프라인 단편 비디오 생성에 한정되어 있어, 실시간 대화형 애플리케이션에 부적합하다. 우리는 장시간 HOI 비디오 생성을 위한 저지연 스트리밍 프레임워크인 StreamHOI를 제안한다. 고도로 조건화된 HOI 파이프라인을 스트리밍 시스템으로 변환하는 대신, 이미지-투-비디오 스트리밍 생성기가 제한된 지연 시간 하에서 상호작용을 보존하기 위해 과거 메모리를 어떻게 구성해야 하는지 연구한다. 표준 sink-local 메모리 설계가 스트리밍 HOI 생성에서 트레이드오프에 직면하며, 서로 다른 트랜스포머 블록이 HOI 영역과 주변 영역에 대해 서로 다른 과거 메모리 선호도를 보인다는 것을 발견한다. 메모리 구성을 블록 동작과 일치시키기 위해, StreamHOI는 오프라인 HOI 인식 블록 프로파일링을 수행하고 바이어스 기반 메모리 특화 학습을 적용하여 생성기를 블록별 메모리 레이아웃에 적응시킨다. 또한 초기 상호작용 상태에 대한 장거리 접근을 강화하기 위해 메모리 거리 스케일링 모듈을 도입한다. 장시간 비디오 베이스라인과 최근 HOI 생성 방법 모두와의 광범위한 비교를 통해, StreamHOI가 강한 상호작용 타당성, 객체 충실도, 인간 품질 및 효율성을 달성하며, 0.75초의 첫 청크 지연 시간으로 17.6 FPS에 도달함을 보여준다.

arXiv:2607.20125v1cs.CV

HeadCast: 효율적인 자기회귀 비디오 생성을 위한 어텐션 헤드 캐스팅

HeadCast: Casting Attention Heads for Efficient Autoregressive Video Generation

자기회귀(AR) 비디오 확산(diffusion) 모델은 긴 영상 및 스트리밍 비디오 합성을 위한 유망한 패러다임이 되었지만, 지속적으로 증가하는 Key-Value(KV) 캐시로 인해 어텐션이 추론 비용의 지배적 요인이 되며, 특히 각 프레임이 많은 토큰을 기여하는 고해상도에서 더욱 그렇다. 기존 해결책은 거친 휴리스틱으로 캐시를 제거(evict)하여 프레임 간 깜빡임(flickering)을 유발하거나, 모델 재학습을 요구한다. 우리는 사전학습된 AR 모델의 어텐션 헤드가 안정적이고 이질적인(heterogeneous) 행동을 보인다는 관찰에 기반한, 학습 불필요(training-free), 플러그 앤 플레이 가속 프레임워크인 HeadCast를 제안한다. 짧은 워밍업(warm-up) 후, HeadCast는 최대 노이즈(maximum-noise) 단계에서 일회성 분류를 수행하여 모든 헤드를 Sink, Dummy, Spatial, Global 네 가지 원형(archetype) 중 하나로 분류하고, 단일(monolithic) KV 캐시를 헤드별 경로(pathway)로 재구성한다. 핵심적으로, 공격적인 캐시 제거가 파괴하는 장거리 시간적 일관성(long-range temporal consistency)을 보존하는 Global 헤드를 유지한다. Spatial 경로는 고정 크기 그리드에서 동작하므로 해상도가 높을수록 절감 효과가 커진다. 최신(state-of-the-art) AR 모델 전반에서 HeadCast는 720P에서 최대 1.62배, 1080P에서 1.95배 추론을 가속하며, VBench 품질을 전체 어텐션(full attention)과 동등하게 유지하고 대체로 깜빡임 없이(flicker-free) 동작한다. 코드는 https://github.com/sjlgaga/HeadCast 에서 이용 가능하다.

arXiv:2607.19876v1cs.RO

KineBench: IDM 없는 운동학적 그라운딩을 통한 체화 세계 모델 벤치마킹

KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding

체화 세계 모델(EWM)의 물리적 일관성을 평가하는 것은 중요한 미해결 과제이다. 시뮬레이터 롤아웃을 통한 폐루프(closed-loop) 평가는 개루프(open-loop) 대안보다 물리적 타당성을 더 충실하게 평가하지만, 기존 프레임워크는 거의 전적으로 동작 추출을 위해 역동역학 모델(IDM)에 의존한다. 2D 픽셀 공간에서 3D 운동학 공간으로의 복잡한 매핑 때문에, 학습된 IDM은 학습 분포 밖 데이터에 취약할 수 있으며, 새로운 객체와 시나리오가 포함된 생성 비디오에서 신뢰할 수 없는 동작 추출을 초래한다. 이는 세계 모델의 부정확성과 추출기 오류 사이에 피할 수 없는 귀속 모호성을 만든다. 이 모호성을 줄이기 위해, 우리는 명시적 운동학적 그라운딩 파이프라인 위에 구축된 EWM용 IDM-프리 폐루프 벤치마크인 KineBench를 제시한다. 생성된 비디오가 주어지면, KineBench는 연쇄적 시각 기반 모델(visual foundation models)을 사용해 개별 프레임에서 6D 엔드 이펙터(end-effector) 자세를 직접 추출하고, 이를 물리 시뮬레이터에서 실행하여 폐루프 검증을 수행한다. 실행 기반 과제 성공률을 넘어, KineBench는 로봇 중심 관점에서 궤적의 매끄러움과 운동학적 타당성을 특성화하기 위해 두 가지 고전적 3D 운동학 지표—Spectral Arc Length(SPARC)와 Maruyama Manipulability Index—를 통합한다. ManiSkill3의 20개 다양한 조작(manipulation) 과제 위에 구축된 KineBench는 기본 실행, 과제 전이, 시각적 분포 외(out-of-distribution) 일반화, 복잡도 조건 스케일링의 네 가지 점진적 스위트에 걸쳐 EWM을 평가한다. 최신(frontier) 모델들에 대한 평가는 체화 비디오 생성에서 과제 복잡도에 의해 제한되는 비선형 스케일링을 밝혀내어, 향후 데이터 스케일링 전략에 대한 실증적 지침을 제공한다.

arXiv:2607.19701v1cs.CV

SafeGen: VLM 기반 자율주행을 위한 안전 임계 시나리오의 목표 조건 비디오 확산

SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving

VLM은 자율주행(AD) 시스템에 점점 더 배포되고 있어, 드물지만 안전 임계적인 시나리오에서 엄격한 안전성 평가가 시급해졌다. 이 중 취약 도로 이용자와의 상호작용은 실제 세계 실패의 주요 원인이다. 그러나 기존 안전 임계 시나리오 생성 방법은 대부분 시뮬레이터 기반 파이프라인에 의존하며, 이는 상당한 sim-to-real 격차를 겪고 현실적이고 다양하며 예견하지 못한 인간-차량 상호작용 역학을 포착하는 데 자주 실패한다. 우리는 VLM 기반 자율주행(VLMAD)에서 안전 임계 시나리오 생성을 위한 목표 조건 확산 프레임워크인 SafeGen을 제안한다. 핵심 통찰은 시나리오 생성을 목표 조건 확산 과정으로 공식화하는 것으로, 사전 정의된 치명적 종료 상태가 강한 지도 신호로 작용하여 안전 임계 결과를 향해 자연스럽게 진화하는 시간적으로 일관된 비디오 궤적 생성을 유도한다. 이 공식화를 바탕으로, 우리는 컨텍스트 그라운딩 종료 상태 추론(Context Grounded End State Reasoning)을 도입한다. 이는 VLM을 활용해 양호한 주행 컨텍스트를 분석하고 인간-차량 상호작용의 잠재적 취약점을 추론하여 고위험 시나리오를 유도하는 구조화된 종료 상태 명세를 생성한다. 이러한 목표에 조건화하여, 우리는 종료 상태 조건 비디오 진화(End State Conditioned Video Evolution)를 추가로 제안한다. 이는 의미적 위협을 물리적으로 타당한 시각적 역학으로 그라운딩한다. 구체적으로, 깊이 인식 기하학적 투영을 통해 장면 내 고위험 에이전트를 인스턴스화하고, 이어 경계 조건 확산으로 일관된 운동 패턴과 시간적 일관성을 갖는 중간 프레임을 생성한다. 3개 VLMAD에 걸친 광범위한 실험은 SafeGen이 VLM 판사를 사용해 VLMAD의 이해와 의사결정을 평가하는 지표인 Judge Overall Score를 SoTA 베이스라인 대비 평균 24.25% 향상시킴을 보여준다. 또한 VLMAD 미세조정은 실제 주행 장면에서 성능을 평균 15.9% 향상시킨다.

arXiv:2607.14595v2cs.CV

MagicPrompt: 비디오 생성을 위한 초경량 프롬프트 튜닝

MagicPrompt: Ultra-Lightweight Prompt Tuning for Video Generation

대규모 비디오 확산 모델은 강력한 생성 성능을 제공하지만, 하위 태스크를 위한 전체 미세조정은 막대한 계산 비용을 초래한다. 기존 매개변수 효율적 미세조정(PEFT) 방법은 십억 규모 모델에서 두 가지 치명적 결함을 갖는다: 여전히 상당한 학습 가능 매개변수를 요구하며, 보상 기반 학습은 조건 안내 태스크에서 노이즈 유발 최적화 불안정성을 겪는다. 우리는 극단적인 매개변수 효율성과 안정적인 보상 최적화를 달성하는 경량 프레임워크인 MagicPrompt를 제안한다. 먼저 Attention-Embedded Prompt Tuning을 채택하여, 사전학습된 지식을 보존하면서 자릿수적으로 더 적은 매개변수의 경량 소프트 프롬프트를 통해 생성을 유도한다. 또한 Dual-Space Reward Feedback Optimization을 도입하여, 자기지도 잠재 목표를 사용해 조건 안내 보상 학습을 개선한다. 실험 결과 MagicPrompt는 학습 가능 매개변수 1% 미만으로 경쟁력 있는 성능에 도달하며 학습 비용을 현저히 줄인다.

arXiv:2605.30116v2cs.CV

SGMD: 소수 단계 비디오 확산 증류를 위한 Score Gradient Matching Distillation

SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation

분포 매칭 증류(Distribution Matching Distillation, DMD)는 소수 단계 비디오 확산 모델에서 추론을 가속하기 위해 널리 사용되는 패러다임이다. 그러나 DMD 방식의 비디오 증류는 두 가지 밀접하게 결합된 과제에 직면한다. fake score는 지속적으로 진화하는 생성기를 추적해야 하므로, 빈번한 갱신이 필요할 때 학습 비용이 커지며, reverse-KL 방식 매칭은 mode-seeking 특성으로 인해 강한 모션 역학(motion dynamics)을 보존하는 데 보수적일 수 있다. 이러한 문제를 해결하기 위해 본 연구는 \textbf{Score Gradient Matching Distillation (SGMD)}를 제안한다. SGMD는 fake score 관점을 채택하여 fake score를 교사(teacher) 방향으로 직접 최적화하고, teacher stop-gradient Fisher를 안정적인 분포 매칭 목적 함수로 사용한다. 이상적인 추적(tracking) 하에서 이러한 목적 함수 선택을 정당화하는 그래디언트 분석을 제공한다. 이를 기반으로 SGMD는 이중 잠재(dual potential) 쌍을 도입한다: 외부 루프(outer-loop) 보정을 위한 negative-residual(NR)과 내부 루프(inner-loop) 추적을 위한 residual-contraction(RC). 실험적으로 DMD2와 비교했을 때 SGMD는 약 $\sim 3\times$의 학습 속도 향상을 달성하고, 시간적 일관성(temporal consistency)을 유지하면서 4단계 증류 모델의 모션 역학을 크게 개선한다. 인간 평가 연구는 SGMD가 모션 품질과 전반적 선호도에서 더 선호되며, 시각적 품질과 텍스트 정렬(text alignment)은 유사한 수준을 유지함을 확인한다. 코드는 https://github.com/ModelTC/LightX2V 에서 제공된다.

arXiv:2511.05865v3cs.CV

CGCE: Classifier-Guided Concept Erasure in Generative Models

Recent advancements in large-scale generative models have enabled the creation of high-quality images and videos, but have also raised significant safety concerns regarding the generation of unsafe content. To mitigate this, concept erasure methods have been developed to remove undesirable concepts from pre-trained models. However, existing methods remain vulnerable to adversarial attacks that can regenerate the erased content. Moreover, achieving robust erasure often degrades the model's generative quality for safe, unrelated concepts, creating a difficult trade-off between safety and performance. To address this challenge, we introduce Classifier-Guided Concept Erasure (CGCE), an efficient plug-and-play framework that provides robust concept erasure for diverse generative models without altering their original weights. CGCE uses a lightweight classifier operating on text embeddings to first detect and then refine prompts containing undesired concepts. By modifying only unsafe embeddings at inference time, our method prevents harmful content generation while preserving the model's original quality on benign prompts. Extensive experiments show that CGCE achieves state-of-the-art robustness against a wide range of red-teaming attacks. Our approach also maintains high generative utility, demonstrating a superior balance between safety and performance. We showcase the versatility of CGCE through its successful application to various modern T2I and T2V models, establishing it as a practical and effective solution for safe generative AI.

arXiv:2607.15273v2cs.CV

MeanFlowNFT: 평균 속도 생성기에 순방향 과정 강화학습 도입

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

MeanFlow 생성기는 시간 구간에 걸친 평균 속도를 예측하여 빠른 소수 스텝 샘플링을 달성하므로, 효율적인 생성에 매력적이다. 강화학습(RL)은 확산 및 flow 모델을 인간 선호도와 작업별 목표에 정렬(alignment)시키는 강력한 방법이 되었다. 특히 DiffusionNFT는 역방향 과정 궤적이나 가능도 추정을 필요로 하지 않는 효율적인 순방향 과정 RL 프레임워크를 제공한다. 그러나 이러한 RL 방법을 MeanFlow에 적용하는 것은 아직 충분히 탐구되지 않았다. DiffusionNFT는 순간 속도를 최적화하는 반면, MeanFlow는 평균 속도로 샘플링한다. 이 격차를 메우기 위해 우리는 MeanFlowNFT를 제안한다. 평균 속도와 순간 속도를 연결하는 MeanFlow 항등식(MeanFlow identity)에서 영감을 받아, 유도된 순간 속도 예측기를 구성한다. 이 예측기에 DiffusionNFT 목적함수(objective)를 적용하여 MeanFlow에 대한 보상 최적화를 명확하게 정의한다. 샘플링은 여전히 평균 속도를 기반으로 하므로 MeanFlow의 빠른 소수 스텝 생성을 유지한다. 또한 MeanFlowNFT가 DiffusionNFT의 엄격한 정책 개선(policy-improvement) 보장을 상속함을 증명한다. 이미지 및 비디오 생성 실험에서 MeanFlowNFT는 베이스라인을 일관되게 개선한다. 또한 대부분의 지표에서 이전 최첨단 RL 튜닝 소수 스텝 생성기를 능가하며(SD3.5-M에서 $8$개 중 $6$개), 소수의 샘플링 스텝만 사용하면서도 다중 스텝 RL 튜닝 확산을 능가할 수 있다. 예를 들어 Wan 2.1에서 $4$-step MeanFlowNFT는 VBench 점수 $84.33$에 도달하여, $50$-step LongCat-Video RL($82.57$)을 능가한다.

arXiv:2607.03118v2cs.CV

Vidu S1: 실시간 인터랙티브 비디오 생성 모델

Vidu S1: A Real-Time Interactive Video Generation Model

우리는 디지털 캐릭터의 음성 제어를 지원하는 실시간 인터랙티브 비디오 생성 모델인 Vidu S1을 소개한다. 사용자는 음성 명령을 통해 언제든지 비디오 생성 콘텐츠를 제어할 수 있다. Vidu S1은 흐림, 드리프트, 시각적 왜곡 없이 무한 길이의 실시간 비디오 생성을 지원한다. TurboDiffusion과 TurboServe를 기반으로 구축된 Vidu S1은 일반 소비자용 GPU에서 최대 42 FPS로 540p 실시간 비디오를 출력한다. 사용자는 실제 인물, 애니메이션 캐릭터, 반려동물의 커스텀 이미지를 업로드하고 개인화된 경험을 위해 다양한 음성 톤을 선택할 수 있다. 실험 결과, Vidu S1은 실시간 추론 요구 사항을 완전히 충족하면서 모든 테스트 지표에서 최고 성능을 달성하였다. 체험 가능한 온라인 데모는 https://vidu.com/vidu-stream 에서 확인할 수 있다.