PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20233v2cs.CV

캐릭터-환경 조화 비디오 생성 모델을 이용한 시네마틱 컴포징

Cinematic Compositing Using Character-Environment-Harmonized Video Generation Models

시네마틱 컴포징은 물리적·광도학적 현실감을 유지하면서 그린 스크린 캐릭터를 새로운 환경에 통합하는 것을 목표로 한다. 기존 방법들은 캐릭터와 주변 환경 사이의 복잡한 양방향 상호작용을 포착하지 못하는 경우가 많으며, 이를 우리는 캐릭터-대-환경(C2E) 물리 상호작용과 환경-대-캐릭터(E2C) 조명 조화로 규정한다. 이를 해결하기 위해 우리는 C2E 및 E2C 상호작용을 공동으로 모델링하는 종단간 비디오 디퓨전 프레임워크를 제안하며, 특히 상호작용 소품(interactive props)의 과제를 다룬다. 우리 접근법은 캐릭터, 소품, 환경 간 물리적으로 일관된 상호작용을 보장하기 위해 RGB-D 공동 디노이징을 갖춘 3중 마스크 유도 아키텍처를 도입한다. 또한 비용이 많이 드는 렌더링 없이 고품질 재조명(relighting) 쌍을 구축하기 위한 효율적인 사전(prior) 기반 데이터 큐레이션 파이프라인을 개발한다. 마지막으로, 참조 조건부(reference-conditioned) 메커니즘이 제어 가능한 환경 합성과 정밀한 소품 교체를 가능하게 한다. 광범위한 실험을 통해 우리 프레임워크가 시네마틱 품질의 동적 비디오 컴포징에서 기존 방법들을 크게 능가함을 보여준다.

arXiv:2607.24591v1cs.CV

CameraAnything: 임의의 카메라 제어로 비디오 재촬영

CameraAnything: Refilming Videos with Arbitrary Camera Control

CameraAnything을 소개한다. 이는 내부 및 외부 카메라 매개변수를 모두 공동으로 제어할 수 있는, 카메라 제어 비디오 편집을 위한 최초의 통합 프레임워크이다. 기존 접근법은 완전한 카메라 기능을 달성하기 위해 비용이 큰 3D 재구성(reconstruction)에 의존하거나, 편집을 외부 매개변수 조작으로 제한한다. 또한 내부 및 외부 매개변수가 비디오 외관에 미치는 결합된 영향으로 인해 분리(disentangled) 모델링이 특히 어렵다. 이를 해결하기 위해, 셀프 어텐션(self-attention)에서 해상도 인식(resolution-aware) 3D RoPE와 함께 픽셀 단위 Plücker 광선 주입(per-pixel Plücker ray injection)을 채택하고, 대상 잠재(latent) 표현 위에 카메라 조건화(camera conditioning)와 공간적 위치 인코딩(spatial positional encoding)을 모두 구축하여 크롭(cropping)이나 아웃페인팅(outpainting) 없이 카메라 위치, 초점 거리(focal length), 네이티브 해상도 편집을 공동으로 제어한다. 쌍(pair) 학습 데이터의 부족을 극복하기 위해, 구조화된 다중 카메라 녹화를 통해 다양한 동적 장면을 구성하고 다양한 카메라 구성의 동기화된 비디오를 생성하는 확장 가능한 합성 파이프라인을 추가로 개발한다. 맞춤형 직교(orthogonal) 학습 전략을 통해 CameraAnything은 단일 생성 과정 내에서 임의의 시점(viewpoint) 제어, 초점 거리 조정, 해상도 적응, 멀티샷(multi-shot) 전환을 포함한 표현력 있는 비디오 재촬영(reshooting)을 가능하게 하며, 영화적 비디오 편집 및 비디오 제작에서의 크로스 플랫폼 콘텐츠 적응에 강한 실용적 가치를 제공한다.

arXiv:2607.24560v1cs.CV

EgoPlay: 이벤트 트리거 기반 자기중심 스트림 비디오 편집

EgoPlay: Event-Triggered Video Editing for Egocentric Streams

본 논문은 자기중심 스트림을 위한 이벤트 트리거 비디오-투-비디오 편집기 EgoPlay를 제안한다. EgoPlay는 주로 Ego4D로 구축한 이벤트 조건 데이터에 사전학습된 V2V 확산 트랜스포머를 미세조정하여 얻었다. 단안 비디오와 "X가 발생하면 Y를 수행한다" 형식의 이벤트 트리거 프롬프트가 주어지면, EgoPlay는 이벤트 X의 발생 여부와 시점을 추론하고, 이벤트 이전 프레임은 보존하며, 편집 Y는 이벤트 이후 연속 구간에만 적용한다. 별도의 이벤트 검출기와 편집기를 연쇄적으로 결합하는 대신, EgoPlay는 단일 end-to-end 모델에서 이벤트 인식, 시간적 제약, 픽셀 수준 편집을 공동으로 학습하며, 부정 및 다중 이벤트 프롬프트도 처리한다. 이를 위해 긍정 트리거, 허위 트리거 부정, 다중 이벤트 프롬프트를 포함하는 10.6만 개의 이벤트 트리거 클립-프롬프트 쌍으로 구성된 대규모 데이터셋을 구축한다. 이후 이벤트 트리거 감독으로 양방향 비디오 확산 편집기를 학습하고, 청크 단위 스트리밍 추론을 위해 인과적 변형을 도출한다. 또한 트리거 이후 편집 품질, 트리거 이전 보존, 거짓 트리거 강건성을 각각 측정하는 이벤트 인식 평가 프로토콜을 도입한다. Ego4D 벤치마크에서 EgoPlay는 최신 instruction 기반 자기중심 비디오 편집 기준선인 EgoEdit을 편집 품질, 시각적 품질, 배경 일관성에서 각각 17.7%, 16.9%, 16.4%의 상대적 향상으로 크게 능가한다. 동일 지표에서 VLM 가이드 검출기-편집기 기준선보다 15.7%, 14.5%, 13.5% 높은 성능을 보이면서 GPU 메모리는 절반 미만만 사용한다.

arXiv:2607.24359v1cs.CV

TaoMate: 앵커 가이드 메모리로 진화 상태와 참조 상태를 잇는 실시간 오디오-비디오 디지털 휴먼 생성

TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation

실시간 장편 디지털 휴먼 생성은 연속된 구간에 걸쳐 대상 외형과 오디오-비디오 동기화를 유지하면서 시청각 콘텐츠를 확장하기 위해 인과적 모델에 의존한다. 제한된 캐시는 국소적 움직임과 음운 문맥을 보존하지만 오래된 증거는 폐기하며, 생성된 전체 이력에 어텐션을 적용하는 것은 계산 비용이 크고 누적 오류를 전파할 수 있다. 소수 스텝 공동 오디오-비디오 생성을 위한 앵커 가이드 영구 메모리 프레임워크인 TaoMate를 제안한다. 이 프레임워크는 불변의 시각적 앵커를 보존하고, 완료된 비디오 및 오디오 블록을 고정 용량의 동적 상태로 압축하며, 활성 캐시를 확장하지 않고 모달리티별 잔차 어텐션을 통해 해당 상태를 검색한다. 참조 인식 변조 방법은 추가로 동적 및 앵커 외형 통계에 비디오 특징을 조건화한다. 앵커 보존 인과 문맥 지식 증류는 불변의 시각적 앵커를 변화시키지 않은 채 롤아웃 지평, 접두 문맥 출처, 캐시 이력 신뢰도를 다양하게 변화시킨다. 영구 메모리를 단계 국소 디노이징 의존성과 분리함으로써 TaoMate는 블록 간 단계 병렬 실행을 추가로 허용하여 파이프라인 특화 재학습 없이 자기회귀 추론을 가속한다. 외형, 시간적, 동기화, 얼굴, 음성 진단 지표로 장편 비디오 연속 생성을 평가한다. 결과는 TaoMate가 프롬프트 조건화된 구간에 걸쳐 안정적인 외형과 자기회귀 생성 하에서 강한 시청각 동기화를 유지함을 보여준다. 프로젝트 페이지는 https://taoliveaigc.github.io/TaoMate 이다.

arXiv:2607.24124v1cs.CV

ViDS: 3D 얼굴 추적을 이용한 Video Diffusion Shader

ViDS: Video Diffusion Shader using 3D Face Tracking

본 논문은 표현력 있고 정체성을 보존하는 초상화 애니메이션을 위해 3D 얼굴 추적을 활용하는 Video Diffusion Shader인 ViDS를 제안한다. 먼저 참조 이미지로부터 정체성 특화 3DMM 메시를 재구성한 다음, 구동 비디오의 표정 및 포즈 파라미터를 사용하여 이를 애니메이션화한다. 3DMM 노멀 맵의 밀집 기하학적 단서를 활용하여, 비디오 확산 모델을 신경망 셰이더로 사용해 참조 이미지의 외형과 정체성을 보존하면서 생생한 초상화 애니메이션을 합성한다. 더 정확한 3DMM 추적이 더 세밀한 표정 제어를 가능하게 한다는 것을 확인했다. 또한 모델의 기본 윈도우를 넘어 생성을 확장하면서 인접 클립 간 불연속성을 줄이는 자기회귀 확산 샘플링 과정을 도입한다. 랜드마크 기반 조건화 또는 암시적 모션 잠재 변수에 의존하는 기존 확산 기반 초상화 애니메이션 접근법과 비교하여, 본 방법은 정체성과 외형을 충실히 보존하면서 더 세밀하고 일관된 표정 및 포즈 제어를 달성한다. 상세한 ablation 연구를 통해 설계 선택의 효과를 검증했다. 프로젝트 페이지: https://fusheng-ji.github.io/ViDS/

arXiv:2607.24027v1cs.CV

Sol-Attn: 실시간 어텐션 희소화를 통한 비디오 생성 추론 가속

Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification

Diffusion transformer는 고품질 비디오 생성에 필수적이지만, 긴 토큰 시퀀스로 인해 어텐션이 추론의 주요 병목이 된다. 학습 없는 동적 희소 어텐션은 선택된 key-value 블록만 계산하여 이 병목을 완화하지만, 기존 방법은 다음 두 가지 이유로 어텐션을 효율적이면서도 정확하게 희소화하는 데 어려움을 겪는다: (1) 경직되고 예측 불가능하며 비용이 큰 라우팅: 프록시 점수로 상위 순위 블록의 고정 비율을 선택하면 고정 예산이 부과되고, 목표 누적 프록시 확률 질량에 도달하기 위해 블록을 유지하면 동적이지만 잠재적으로 불균형한 예산이 발생한다. 두 방식 모두 프록시 점수를 계산하고 구체화하는 데 무시할 수 없는 오버헤드가 발생한다. (2) 손실이 있는 keep-or-drop 희소화: 선택되지 않은 블록은 완전히 폐기되어 공격적인 희소성 하에서 정확도가 저하된다. 이러한 한계는 정확도 저하를 제한하면서 더 저렴한 동적 예산 라우팅을 필요로 한다. 본 논문에서는 동적 라우팅, 희소 계산, 근사 보정을 단일 online 소프트맥스 패스로 통합하여 희소 어텐션에서 더 나은 정확도-효율성 트레이드오프를 달성하는 학습 없는 Sol-Attn(Sparsifying online attention)을 제안한다. Sol-Attn의 핵심은 프록시 점수 재사용을 통한 실시간 블록 임계값 처리로, online 소프트맥스 과정에서 블록 프록시 점수를 임계값과 비교하여 중요 블록을 선택한다. 이 설계는 프록시 맵을 구체화하지 않으면서도 동적이면서 제어 가능한 블록 예산을 가능하게 하며, 선택되지 않은 블록의 프록시 점수를 직접 재사용하여 해당 기여를 근사한다. 이미지 및 비디오 생성 태스크에 걸친 실험에서 Sol-Attn은 학습 없는 희소 어텐션의 품질-효율성 프론티어를 앞당기며, 비디오 생성과 편집에서 각각 2.1배 및 2.3배의 end-to-end 속도 향상을 제공하면서 시각적 품질을 유지한다.

arXiv:2607.23844v1cs.CV

OmniCache: 확산 모델을 위한 다차원 계층적 특징 캐싱

OmniCache: Multidimensional Hierarchical Feature Caching For Diffusion Models

SD3, FLUX, 최근의 비디오 확산 트랜스포머 등 고해상도 이미지 및 비디오 확산 모델은 생성 품질을 크게 향상시켰지만, 많은 샘플링 단계에 걸쳐 어텐션 집약적인 디노이저를 반복적으로 평가하기 때문에 추론 시 여전히 비용이 많이 든다. 우리는 모델 가중치를 변경하거나 재학습하는 대신 중간 확산 특징의 중복성을 활용하여 이 비효율성을 해결한다. 이미지 및 비디오 생성에서 프레임 내, 프레임 간, 모션, 디노이징 단계의 네 가지 상호 보완적인 중복성 원천을 식별한다. 이 분석을 바탕으로 Token Cache, Frame Cache, Block Cache, Layered Cache를 통해 다차원 특징 재사용을 수행하는 통합 계층적 캐싱 프레임워크인 OmniCache를 제안한다. 매칭된 특징을 평균화하는 토큰 병합(token-merging) 기준선과 달리, OmniCache는 유사도 매칭으로 캐시 가능한 특징을 선택하고 중복 계산을 건너뛰며, 위치적으로 일관된 캐시된 활성화를 복원하여 특징 순서와 시공간 구조를 보존한다. 그 결과 이 프레임워크는 시간적 층에서 공간적 특징을, 공간적 층에서 시간적 특징을 재사용하며, Layered Cache는 모델-층 수준에서 단계 간 중복성을 포착한다. SD3, SVD-XT, Latte에서 OmniCache는 각각 최대 35%, 25%, 28%의 추론 지연을 줄이면서, 학습 없는 설정에서 시각적 충실도와 모션 일관성을 유지한다.

arXiv:2607.23840v1cs.CV

STEER: 조향 가능한 대화형 헤드 아바타

STEER: Steerable Dyadic Head Avatars

얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.

arXiv:2607.23588v1cs.CV

JarvisHub: 캔버스-네이티브 멀티모달 창작 에이전트를 위한 오픈 하네스

JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents

창작 AI는 단일 단계 에셋 생성에서 장기간(long-horizon) 멀티모달 제작으로 이동하고 있다. 최근 생성 모델은 고품질 이미지, 비디오, 오디오 클립, UI 요소, 스토리보드, 슬라이드 및 기타 창작 에셋을 합성할 수 있지만, 실제 창작 작업은 고립된 프롬프트-출력 상호작용 이상을 요구한다. 참조, 초안, 대안, 편집, 실패한 시도, 버전 관계, 도구 동작, 평가 신호, 인간 피드백이 포함되며, 이들은 함께 진화하는 프로젝트 상태를 형성한다. 기존 프롬프트 기반, 채팅 기반, 노드 기반 생성 시스템은 중간 컨텍스트를 종종 폐기하거나, 선형 대화에 의존하거나, 수동으로 지정된 워크플로를 요구하기 때문에 이러한 상태를 부분적으로만 지원한다. 최근 상용 시스템은 에이전트 지원 창작 제작으로의 전환을 시사하지만, 폐쇄형 아키텍처로 인해 에이전트가 컨텍스트를 어떻게 표현하고, 도구를 선택하고, 산출물을 수정하고, 실패에서 복구하며, 시간에 걸쳐 일관성을 유지하는지 연구하기 어렵다. 이 격차를 해소하기 위해, 장기간 멀티모달 창작을 위한 캔버스-네이티브 창작 에이전트 하네스인 JarvisHub를 제안한다. JarvisHub는 편집 가능한 캔버스를 사용자 작업 공간, 에이전트의 외부 메모리, 행동 공간, 공유 프로젝트 상태로 취급하며, 멀티모달 산출물, 의존성, 버전, 피드백을 타입이 지정된 캔버스 노드와 링크로 표현한다. 캔버스 상태, 프로토콜 브릿지, 에이전트 런타임으로 구성된 3층 아키텍처를 통해 JarvisHub는 에이전트가 검사 가능하고 편집 가능한 창작 상태 내에서 행동할 수 있게 한다. 이 설계는 창작 에이전트를 고립된 도구 사용을 넘어 지속적이고 인간이 조향 가능한(human-steerable) 창작 자동화로 이동시키며, 에이전트가 멀티모달 프로젝트를 점진적으로 계획, 생성, 수정, 조직할 수 있게 하는 동시에 사용자는 전 과정에서 검사, 안내, 개입할 수 있다.

arXiv:2607.23517v1cs.CV

상반신 인간-객체 상호작용을 위한 실시간 인간 중심 월드 모델링

Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction

본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.

arXiv:2607.23472v1cs.CV

VIPER: 물리적으로 타당한 비디오 생성을 위한 문맥 내 시각 물리 추론

VIPER: Visual In-Context Physics Reasoning for Physically Plausible Video Generation

최신 비디오 생성 모델은 시각적으로 매력적이고 시간적으로 일관된 클립을 합성할 수 있지만, 표준 텍스트 및 이미지 조건으로는 물리적 거동을 제어하기 어렵다. 핵심 과제는 조건화(conditioning) 병목이다. 재질 반응, 접촉 상호작용, 변형, 운동 궤적은 연속적이고 관계적인 물리적 단서이며, 언어로 포괄적으로 지정하기 어렵지만 비디오로 자연스럽게 시연할 수 있다. 우리는 참조 기반 이미지-투-비디오 생성을 위한 Visual In-Context Physics Reasoning 프레임워크인 VIPER를 제안한다. 대상 이미지, 간단한 대상 프롬프트, 참조 비디오가 주어지면 VIPER는 참조를 외형 템플릿이 아니라 원하는 물리적 과정에 대한 밀집된 시각적 시연으로 취급한다. VIPER는 다중모달 대규모 언어 모델(MLLM)을 사용하여 참조에서 유도된 물리적 단서를 추출하고, 계층적 학습 전략을 통해 사전학습된 이미지-투-비디오 생성기를 안내하여 기본 생성기의 시각적 사전(prior)을 보존하면서 물리적 거동 전이를 가능하게 한다. 이 설정을 지원하기 위해 재질, 궤적, 물리적 충격 어노테이션이 포함된 큐레이션 데이터셋 VIPER-19K와 필터링된 참조-대상 쌍을 구축한다. 보지 못한 검증 세트에서의 실험은 VIPER가 대표적인 비디오 생성 및 video-as-prompt 기준선보다 더 강한 참조 비디오 물리 유사도와 더 높은 인간 선호도를 달성하면서 경쟁력 있는 일반 비디오 품질을 유지함을 보여준다. 정성적 결과는 VIPER가 정교하게 설계된 프롬프트 없이도 참조에서 유도된 물리적 거동을 새로운 대상 장면으로 전이할 수 있음을 추가로 보여준다.

arXiv:2607.22959v1cs.CV

HALLELUAI: 대규모 초현실적 이미지-투-비디오 생성을 위한 환각 인식 AI 시스템

HALLELUAI: A Hallucination-Aware AI System for Ultra-Realistic Image-to-Video Generation at Scale

AI 생성 비디오는 마케팅, 제품 스토리텔링, 창작 워크플로 전반에서 점점 더 많이 사용되고 있지만, 자동화된 고정밀 품질 관리는 생산 확장의 주요 제약으로 남아 있다. 우리는 이미지-투-비디오 출력을 검수·재생성하여 전문가 수준의 창작 기준을 충족하고, 일관된 최종 사용자 품질 경험(QoE)을 갖춘 초현실적 비디오를 대규모로 제공하는 end-to-end 시스템인 HALLELUAI를 제시한다. 이 시스템은 프레임 수준의 미학, 시간적 모션 충실도, 원본 이미지 대비 세밀한 환각(hallucination) 위험을 평가하는 비디오 검수 모듈과, 프롬프트 정제, 제어된 카메라 조정, 대상 모델 또는 이미지 전환, 구조화된 재시도 전략을 통해 실패를 반복적으로 수정하는 에이전트(agentic) 재생성 모듈을 통합한다. 검수 로직은 도메인별 창작 가이드라인에 정렬(alignment)되어 있으며, 재생성을 직접 구동하는 세분화되고 기계 실행 가능한 피드백을 생성한다. 창작 전문가와의 human-in-the-loop 평가에서 HALLELUAI는 강한 정렬을 보이며, 제품 및 마케팅 배치에 적합한 초현실적·프로덕션급 비디오를 대규모로 안정적으로 출력한다. 이 프레임워크는 대규모 이미지-투-비디오 생성을 가능하게 하면서 시각적 사실성, 브랜드 안전성, 엄격한 입력 이미지 충실도를 강제함으로써 신뢰할 수 있는 AI 생성 비디오 콘텐츠를 발전시킨다.

arXiv:2607.22830v1cs.CV

ID-V2V: 정체성 보존 비디오 재스타일화

ID-V2V: Identity-Preserving Video Restylization

시각적 스토리텔링에서 인간의 퍼포먼스는 창의적 의도와 서사적 의미의 핵심이다. 그러나 생성형 비디오 모델은 유연한 시각적 편집을 가능하게 하면서도 인간의 정체성과 퍼포먼스를 보존하는 것이 여전히 어렵다. 우리는 이 과제를 정체성 보존 비디오 재스타일화로 공식화한다. 이는 편집된 키프레임으로 지정된 장면, 조명, 스타일 변화를 소스 비디오 전체에 전파하면서, 표정, 시선, 입술 동기화를 포함한 얼굴 유사성과 퍼포먼스를 보존하는 작업이다. 핵심 장애물은 paired 학습 데이터의 부재인데, 실제 환경에서는 정체성을 보존한 재스타일화 비디오 쌍이 드물기 때문이다. 이를 해결하기 위해 우리는 소스 기반 정체성 보존과 편집 주도 비디오 합성의 분리를 제안한다. 핵심 통찰은 얼굴 외형과 표정은 불변으로 유지되어야 하며, 조명이 주요하게 허용되는 변화라는 점이다. 따라서 정체성 보존을 비디오 재조명 문제로, 시각적 편집 전파는 편집된 키프레임이 안내하는 제어된 비디오 합성으로 모델링한다. 이 공식화를 바탕으로 우리는 ID-V2V를 제안한다. 이는 상호 보완적인 제어 신호를 통합한 비디오-투-비디오 생성 프레임워크로, 재조명된 얼굴 영역과 얼굴 노멀 맵이 얼굴 유사성과 퍼포먼스를 엄격히 제약하고, 편집된 키프레임과 깊이 시퀀스가 유연하고 시간적으로 일관된 생성을 가능하게 한다. 이 설계는 단일 비디오로부터 학습 쌍을 구성할 수 있어 희소한 paired 데이터가 필요 없게 한다. 광범위한 실험 결과 ID-V2V는 얼굴 유사성과 세밀한 얼굴 퍼포먼스 보존에서 기존 방법을 크게 능가하며, 단일 및 다중 피사체 시나리오를 모두 지원하고 높은 시각적 품질을 제공하여, 실제 콘텐츠 제작을 위한 인간 중심 도구로서의 잠재력을 보여준다. 코드는 https://github.com/Eyeline-Labs/ID-V2V 에서 제공된다.

arXiv:2607.22696v1cs.CV

MegaSlide-DiT: 효율적인 비디오 확산을 위한 메모리 중심 적응 및 변형 가능한 로컬 어텐션

MegaSlide-DiT: Memory-Centric Adaptation and Deformable Local Attention for Efficient Video Diffusion

확산 트랜스포머(DiT) 기반 고해상도 비디오 확산 모델은 뛰어난 충실도를 제공하지만, 단일 워크스테이션의 메모리 예산을 빠르게 소진한다. 1,000억 개 이상의 매개변수를 가진 DiT는 지속 상태만으로도 쉽게 1TB 이상을 필요로 하며, 단순한 시공간 자기 어텐션은 시퀀스 길이에 대해 이차적으로 증가한다. 이 두 가지 장벽—매개변수 메모리와 활성화 메모리—은 대규모 GPU 클러스터 없이 거대 생성 모델을 적응하는 것을 연구자들로부터 막는다. 우리는 시스템 관점에서 이 문제를 재검토하고, 1.5TB 호스트 RAM을 갖춘 단일 H200 GPU에서 사전학습된 105B DiT를 적응할 수 있음을 보여주는 프로토타입인 MegaSlide-DiT를 제안한다. 핵심 통찰은 GPU가 모델 상태를 소유할 필요가 없다는 것이다. 모든 지속 가중치, 마스터 가중치 및 옵티마이저 모멘트는 호스트 메모리에 유지되고, 일시적 샤드만 필요에 따라 GPU로 스트리밍된다. 동시에, 이차적 전역 어텐션을 3D 변형 가능 슬라이드 어텐션(3D-DSA)으로 대체한다. 이는 움직임 적응형 로컬 어텐션 연산자로, 메모리와 계산 복잡도를 모두 시퀀스 길이에 대해 선형으로 줄인다. 설계를 뒷받침하기 위해 상세한 메모리 회계, 실행 추적 및 평가 결과를 보고한다. MegaSlide-DiT는 단일 GPU에서 105B 모델을 처음부터 학습할 수 있다고 주장하지 않으며, 대역폭 한계를 마법처럼 해결하지도 않는다. 오히려 고사양 워크스테이션에서 거대 비디오 확산 모델의 전체 매개변수 적응을 위한 실용적인 경로를 제시한다.

arXiv:2607.21686v1cs.AI

지속적 계산 상태: 생성형 월드 모델을 위한 세션 중심 런타임

Persistent Computational State: A Session-Centric Runtime for Generative World Models

생성형 월드 모델은 점점 더 시뮬레이터로 구동되고 있다. 플래너가 상태를 분기(fork)하고, 미래를 롤아웃(roll out)하며, 백트랙(backtrack)한 뒤 방문했던 시점(viewpoint)으로 돌아온다. 최근 벤치마크는 현재의 비디오 월드 모델이 이러한 사용 방식에서 실패함을 보여 주며, 이를 모델 탓으로 돌리면서 새로운 아키텍처와 학습 목표를 제안한다. 우리는 이러한 귀인이 불완전하며, 중요한 한 클래스의 모델에 대해서는 단순히 틀렸음을 보인다. 런타임이 이미 보유하고 있는 상태—아키텍처에 따라 관측값(observation)과 RNG 상태, 메모리 뱅크, 또는 윈도우 KV 컨텍스트—를 스냅샷하고, 실제 탐색(excursion) 후 복원하면 세 가지 모두에서 한 번도 떠나지 않은 연속을 바이트 단위로 동일하게 재현한다. RNG만 손상시키면 품질이 저하된다. 이 능력은 처음부터 없었던 것이 아니다. 요청 중심(request-centric) 모델 서빙이 이를 버렸는데, 이는 언어 모델 서빙으로부터 런타임 상태가 재계산 가능(recomputable)하다는 가정을 물려받았기 때문이다. 그러나 월드 모델 상태는 재계산 불가능한(non-recomputable) 커널을 담고 있다. 우리는 요청 간에 반드시 유지되어야 하는 최소의 재계산 불가능 상태인 지속적 계산 상태(Persistent Computational State, PCS)를 정의하고, 측정을 통해 이를 발견할 수 있음을 보이며, 이를 기반으로 세션 중심 런타임을 구축한다. 체크포인트와 복원 비용은 1.85초 생성 단계 대비 0.012ms이며, 상주 세션이 디바이스가 아닌 호스트 한계(host-bounded)에 닿게 되고(최대 1,024까지 측정), 월드 메모리는 최근성(recency)이 아니라 복귀와의 관련성(relevance)에 따라 퇴출(evict)되어야 한다. 이는 대규모 언어 모델(LLM) 관행과 정반대이다.

arXiv:2607.22352v1cs.CV

시간 역전 영상: 과거 인간-환경 상호작용 재구성을 위한 다중모달 벤치마크 및 프레임워크

Time-Reversed Imaging: A Multimodal Benchmark and Framework for Reconstructing Past Human-Environment Interactions

우리는 희미해지는 다중모달 흔적로부터 장면에서 방금 일어난 일을 추론하는 새로운 패러다임인 시간 역전 영상(time-reversed imaging)을 제안한다. 비디오 프레임을 외삽하거나 보간하는 대신, 우리의 목표는 열, 자외선, 가시 스펙트럼에서 관측 가능한 잔류 물리적 흔적으로부터 과거 인간-환경 상호작용을 추론하는 것이다. 이 문제를 연구하기 위해, 우리는 시간 역전 영상을 위한 최초의 개념 증명(proof-of-concept) 데이터셋인 TRACE-HEI를 제시한다. 이 데이터셋은 앉기, 접촉, 물체 이동, 액체 유출과 같은 행동의 동기화된 삼중모달 비디오 시퀀스를 포함하며, 다양한 재질에 걸쳐 촬영되었고 접촉 후 최대 3분까지 기록되었다. 벤치마크를 확립하기 위해, 우리는 검출된 흔적의 구조화된 텍스트 설명을 추출하고 이를 사용하여 그럴듯한 과거 프레임을 재구성하기 위한 비전-언어(vision-language) 기반 확산 모델(diffusion model)을 제약하는 다중모달 추론 접근법을 제안한다. 실험 결과, 희미해지는 흔적로부터 최근 사건을 추론하는 것은 도전적이지만, 상호 보완적인 모달리티가 해의 모호성을 줄일 때 실현 가능함을 보여준다. 본 연구는 시간 역전 영상을 위한 최초의 계산 및 실험적 기반을 정의하며, 비전, 물리학, 생성적 추론을 연결하고 즉각적 관측을 넘어선 장면 이해의 새로운 방향을 연다.

arXiv:2607.22302v1cs.CV

fMRI2Face: 동적 인간 얼굴 재구성을 위한 Full-HD fMRI-비디오 데이터셋 및 기하학 유도 신경 디코딩 프레임워크

fMRI2Face: A Full-HD fMRI-Video Dataset and Geometry-Guided Neural Decoding Framework for Dynamic Human Face Reconstruction

뇌 활동으로부터 동적 인간 얼굴을 재구성하는 것은 정신이 정체성, 표정, 얼굴 움직임을 어떻게 지각하는지 연구하는 강력한 방법을 제공한다. 그러나 fMRI 기반 얼굴 디코딩의 진전은 통제된 고해상도 신경 데이터셋의 부족과, 정체성 특유의 외형과 시간에 따라 변하는 얼굴 역학을 모두 복원하는 데 어려움을 겪는 방법들로 인해 제한되어 왔다. 우리는 1920×1080 해상도로 렌더링된 제어 가능한 Full-HD 디지털 인간 얼굴 비디오와 짝을 이루는 최초의 fMRI 데이터셋인 fMRI-Face를 제시한다. 스캔 중 참가자들은 정체성, 표정, 머리 자세가 통제된 사실적인 배경 없는 얼굴 비디오를 시청했으며, fMRI 활동이 기록되었다. 결과 데이터셋은 62,856개의 짝을 이룬 fMRI-비디오 샘플을 포함하며, 동적 얼굴 지각 및 재구성 연구를 위한 구조화된 자원을 제공한다. 이 데이터셋을 바탕으로, 우리는 fMRI 신호로부터 얼굴 비디오를 재구성하기 위한 기하학 유도 신경 비디오 디코딩 프레임워크인 fMRI2Face를 제안한다. fMRI2Face는 뇌 활동으로부터 두 가지 상보적인 신경 제어를 도출한다: 전역적 정체성 관련 시각 속성을 포착하는 Brain-derived Appearance Context와, 자세, 표정, 비강성(non-rigid) 얼굴 역학에 대한 명시적 기하학 인식(guidance)을 제공하는 Morphable 3D Facial Control. 이 제어들은 보조 잠재(latent) 완성을 갖춘 Neural-Controlled Video Diffusion을 통해 통합되어, 뇌 활동으로부터 직접 고충실도 얼굴 비디오 재구성을 가능하게 한다. 실험 결과 fMRI2Face는 대표적인 신경 디코딩 베이스라인 대비 재구성 충실도, 정체성 보존, 얼굴 기하학, 움직임 일관성을 일관되게 향상시킨다. fMRI-Face와 fMRI2Face는 함께 동적 얼굴 지각 연구를 위한 통제된 플랫폼을 구축하고, fMRI 기반 디지털 인간 재구성을 위한 새로운 벤치마크를 제공한다.

arXiv:2607.21848v1cs.CV

루프를 닫기: 자기회귀 생성 렌더링을 위한 학습 없는 재방문 일관성

Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering

최근 조건부 비디오 생성 모델은 깊이 맵과 텍스처 없는 기하학 같은 3D 엔진 렌더링을 게이밍 및 몰입형 콘텐츠 제작을 위한 사실적인 비디오로 변환할 수 있는 유망한 잠재력을 보여주었다. 이러한 응용은 지속적인 3D 세계를 유지하면서 새로운 프레임을 연속적으로 합성하는 장기 자기회귀 생성을 요구한다. 자기회귀 생성기는 제한된 KV 캐시로 청크 단위로 비디오를 합성하므로, 카메라가 컨텍스트가 캐시에서 제거된 후 어떤 위치를 재방문할 때, 조건 렌더링(예: 깊이)은 기본 기하학과 완벽하게 정렬된 상태로 남아 있음에도 불구하고 모델은 종종 일관되지 않은 외관을 재생성한다. 우리는 3D 엔진이 이미 제공하는 대응 관계를 활용하여 어떠한 사후 학습도 없이 이 재방문 불일치를 해결한다: 시간적 대응은 포즈가 일치하는 과거 잠재 청크를 루프 클로저 메모리로 KV 캐시에 검색하고, 카메라 포즈와 깊이 재투영으로부터의 공간적 대응은 검색된 청크의 기하학적으로 대응하는 영역을 향해 토큰 수준 어텐션을 편향시킨다. 복잡한 실세계 응용 시나리오를 반영하기 위해 TartanAir 및 TartanGround 데이터셋에서 추출한 루프 클로저 궤적에서 방법을 시연했으며, 전체 비디오 품질을 잃지 않으면서 재방문 일관성에서 기존의 학습 없는 베이스라인을 능가한다. 프로젝트 페이지: https://wenchao-m.github.io/ClosetheLoop.github.io/

arXiv:2607.20368v2cs.CV

Self Gradient Forcing: 네이티브 장기 영상 외삽

Self Gradient Forcing: Native Long Video Extrapolation

최근 자기회귀(autoregressive) 영상 확산 방법들은 Self Forcing을 기반으로 구축되는 추세이며, 여기서 학생 모델은 정답(ground-truth) 영상 컨텍스트가 아니라 자신의 롤아웃이 생성한 이력에 대해 학습된다. 이는 노출 바이어스(exposure bias)를 줄이지만, 역사적 키-값 캐시는 여전히 미래 프레임에 고정된 롤아웃 상태로만 사용된다. 그 결과 미래 손실은 이전에 생성된 잠재 변수(latent)가 이후 영상 잠 latent 생성에 더 유용한 키와 값으로 어떻게 기록되어야 하는지를 감독할 수 없다. 우리는 이를 역사적 컨텍스트-그래디언트 간극(historical context-gradient gap)이라고 부른다. 우리는 전체 직렬 롤아웃을 통해 역전파(backpropagation)하지 않고도 이 누락된 감독 신호를 복원하는 2-pass 학습 전략인 Self Gradient Forcing(SGF)을 제안한다. Pass 1은 추론과 일치하는 no-gradient 자기회귀 롤아웃을 수행하고, 샘플링된 디노이징 종료 단계에서 자기 생성 컨텍스트와 모델에 입력된 노이즈 잠 latent 변수를 모두 기록한다. Pass 2는 기록된 종료 단계에 대해 병렬 컨텍스트-그래디언트 재구성을 수행한다. 생성된 컨텍스트는 stop-gradient 클린 잠 latent 입력으로 사용되며, 모델은 컨텍스트 KV 표현과 미래-컨텍스트 인과적 어텐션을 재계산한다. 따라서 SGF는 네이티브 자기회귀 학습 목표 내에서 누락된 메모리 기록 감독을 제공하며, 미래 영상 잠 latent 변수에 대한 손실을 사용해 모델이 컨텍스트를 더 효과적인 인과적 메모리로 인코딩하도록 학습한다. 다양한 초기화 하에서 광범위한 장기 프레임 단위 및 청크 단위 실험에서 SGF는 Self Forcing보다 더 강력한 네이티브 장기 영상 외삽을 달성하며, 특히 피사체 동일성, 배경/레이아웃 일관성, 시간적 안정성에서 두드러진다. 놀랍게도 5초 학습 윈도우만 사용해도 SGF는 수 분에 달하는 영상까지 외삽할 수 있다. 코드와 모델은 자기회귀 영상 생성 연구를 촉진하기 위해 공개될 예정이다.

arXiv:2606.10135v4cs.CV

BiWM: 양방향 자기회귀로 오픈소스 대화형 비디오 월드 모델 발전

BiWM: Advancing Open-Source Interactive Video World Models with Bidirectional Autoregression

대화형 비디오 월드 모델은 일반적으로 제어 미세조정, 자기회귀 학습, 인과적 초기화, 소수 단계 지식 증류를 통해 양방향 비디오 생성기를 인과적 자기회귀 시스템으로 변환한다. 이 파이프라인은 비용이 많이 들며, 고정된 인과적 히스토리가 오류를 누적하여 장기간 충실도와 제어 가능성을 저하시킨다. 우리는 양방향 자기회귀 비디오 월드 모델을 위한 최초의 오픈소스 풀스택 학습 프레임워크인 BiWM을 제시한다. BiWM은 생성된 각 청크 내에서 전체 어텐션을 유지하며, 카메라/동작 제어 미세조정과 소수 단계 Distribution Matching Distillation(DMD)이라는 두 단계만 필요로 한다. 두 단계 모두 8대의 H200 GPU에서 수백 옵티마이저 스텝 이내에 수렴한다. 이 프레임워크는 Wan2.1-T2V-1.3B, Wan2.2-TI2V-5B, HunyuanVideo-1.5-TI2V-8B, LTX-2.3-22B를 지원하며, 실세계 카메라 제어, 플러그인 가능한 장기 히스토리 압축, 선택적 저비트 배포도 함께 제공한다. 지도 학습 및 forward-KL 앵커는 DMD 모드 붕괴를 완화하고 장면 역학을 보존한다. BiWM은 사전학습된 양방향 비디오 모델에서 대화형, 제어 가능하고 효율적인 월드 모델로 이어지는 간결하고 재현 가능한 경로를 제공한다.