PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13412v1cs.CV

TextVBench: 비디오 생성에서 텍스트 렌더링과 보존 평가

TextVBench: Evaluating Text Rendering and Preservation in Video Generation

현대의 비디오 생성 모델은 설득력 있는 장면을 합성하면서도 일부 문자를 잘못 렌더링하거나, 요청된 텍스트를 생략하거나, 프레임 간에 텍스트를 변경하는 경우가 있다. 이러한 실패를 측정하는 것은 각 프레임에 독립적으로 OCR을 적용하는 것보다 어려운데, 장면에 여러 텍스트 대상과 여러 노이즈가 섞인 OCR 영역이 포함된 경우 평가자는 먼저 어떤 관측 결과가 어떤 의도된 텍스트에 속하는지 결정해야 하기 때문이다. 우리는 시각적 텍스트 평가를 다중 대상, 다중 인스턴스의 시공간적 대응 문제로 정식화한 벤치마크 및 평가 프레임워크인 TextVBench를 소개한다. TextVBench는 두 개의 상호 보완적인 트랙으로 구성된다: TextVBench-T2V는 프롬프트(prompt)로 지정된 텍스트의 생성과 유지를 측정하며, TextVBench-Ref2V는 참조 이미지로부터의 텍스트 보존을 측정한다. 두 트랙 모두 제약이 없는 VLM 전사(transcription) 대신 대상 조건화된 후보 선택 방식을 사용하고, 하나의 대상이 여러 OCR 영역에 매핑되는 것을 지원하며, 프레임 수준의 공간적 충실도와 프레임 간 시간적 충실도를 분리한다. 길이 가중 조화 점수(length-weighted harmonic score)가 이러한 요소들을 종합하며, 추가 텍스트(extra-text) 진단은 단일 OCR 점수로는 드러나지 않는 실패 모드를 노출한다. 이 벤치마크는 통제된 텍스트, 레이아웃, 캐리어, 모션 속성을 중심으로 구성되어 있어, 종합 점수를 특정 역량 한계로 추적할 수 있다. 평가된 모델(model) 실행 전반에서 MiniMax-H3는 T2V TextVScore 68.32를 달성했으며, 가장 높은 Ref2V 점수는 56.51이었다. 속성별 분석에서는 동시에 존재하는 참조 텍스트 영역의 수가 증가할수록 점수가 두드러지게 하락하는 것으로 나타났다.

arXiv:2610.11070v1cs.CV

증류 불필요: 비인과적 노이즈 셰이핑을 통한 단일 패스 실시간 토킹 헤드

No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping

오디오 기반 얼굴 애니메이션은 실시간 아바타, 텔레프레즌스, 그리고 임바디드 가상 에이전트의 기반이 된다. 또한 이는 온라인으로 동작해야 하며, 각 프레임은 현재 시점까지 관측된 오디오로부터 대화형(interactive) 속도로 생성되어야 한다. 최근의 발전은 디퓨전 모델(diffusion model)이 주도하고 있는데, 이는 샘플당 많은 네트워크 평가가 필요하여 스트리밍에는 적합하지 않다. 우리는 이 분야에서 그러한 비용이 불필요하다고 주장한다. 오디오에 조건화된 얼굴 움직임은 비교적 저차원 매니폴드(manifold)에 위치하며, 이는 단일 패스(single-pass) 생성적 적대 신경망(GAN)만으로도 충분한 영역이다. 장애물은 모델의 용량(capacity)이 아니라 확률적 구조(stochastic structure)에 있다. 우리는 독립동일분포(i.i.d.) 노이즈에 의해 구동되는 인과적(causal)이고 시불변(time-invariant)인 생성자가 각 스텝의 이노베이션(innovation)을 붕괴시키지 않고서는 특정 대역에서 출력 스펙트럼을 억제할 수 없음을 보인다. 우리는 노이즈 경로를 비인과적으로(acausally) 셰이핑하여 이러한 한계를 해소한 FaceGAN을 제안한다. 구동 노이즈가 합성(synthetic)된 것이기 때문에 그 미래 값을 지금 미리 샘플링할 수 있으며, 따라서 오디오-표현(audio-to-expression) 경로는 인과성을 유지하고 모델은 완전한 인과적 동작을 지원한다. FaceGAN은 프레임당 단일 순전파로 표정과 머리 자세를 생성하며, 생성 품질에서 최신 기법과 동등하거나 이를 상회한다. 피드포워드 구조이며 어텐션 윈도우가 제한되어 있어, 드리프트(drift) 없이 무한히 생성할 수 있다.

arXiv:2610.11037v1cs.CV

이미지 편집기를 비디오 편집기로 변환하기

Transforming Image Editors into Video Editors

최근 이미지 편집 시스템은 뛰어난 의미론적 이해도, 시각적 충실도, 지시어 추종(instruction-following) 능력을 달성했으나, 비디오 편집은 여전히 훨씬 더 어렵고 비용이 많이 듭니다. 본 논문에서는 엔드투엔드(end-to-end) 비디오 편집에 대한 간단한 대안을 제시합니다. 즉, 단일 비디오 편집기를 학습(training)시키는 대신 강력한 이미지 편집기를 앵커 기반 생성을 통해 비디오 편집기로 변환합니다. 우리의 핵심 통찰은 비디오 편집이 희소한 키프레임 세트를 편집하는 것과 이러한 편집 내용을 시간에 걸쳐 전파하는 두 가지 하위 문제로 분해될 수 있다는 점입니다. 이러한 관찰을 바탕으로, 우리는 2단계 프레임워크인 앵커 기반 비디오 편집(Anchor-based Video Editing, AVE)을 제안합니다. 이 프레임워크에서는 먼저 강력한 이미지 편집기가 선택된 키프레임에 대해 합성 편집을 수행하고, 모션 유도 이미지-투-비디오 확산 모델(diffusion model)이 편집된 키프레임을 고정 앵커로 처리하여 최종 비디오를 생성합니다. 이러한 설계는 최신 이미지 편집기의 장점을 직접 계승하는 동시에 비용이 많이 드는 엔드투엔드 비디오 편집 학습을 방지합니다. IVEBench 및 VIE-Bench에 대한 실험 결과는 AVE가 지시어 추종, 시간적 일관성, 콘텐츠 충실도 면에서 우수한 성능을 달성함을 보여줍니다. 추가적인 절제 연구(ablation study)에 따르면 최종 비디오 편집 품질은 이미지 편집기의 품질과 강한 상관관계가 있음이 밝혀졌으며, 이는 향후 비디오 편집의 발전이 더 강력한 이미지 편집 기반과 비디오로의 경량 전이에서 비롯될 수 있음을 시사합니다. 코드는 https://github.com/wangf3014/AVE 에서 이용 가능합니다.

arXiv:2610.11023v1cs.CV

아이덴티티 보존 비디오 생성을 위한 표정 다양성 참조 이미지

Expression-Diverse References for Identity-Preserving Video Generation

아이덴티티 보존 비디오 생성(Identity-preserving video generation)은 사실적인 비디오를 합성하면서 대상(subject)의 아이덴티티를 유지하는 것을 목표로 한다. 그러나 단일 참조 인물 사진(reference portrait)은 하나의 얼굴 구성(facial configuration) 하에서만 대상의 외형을 포착한다. 표정이 변화함에 따라 얼굴 외형은 아이덴티티에 매우 특이적인 방식으로 달라질 수 있으며, 이로 인해 보지 못한 표정 하에서의 대상 외형은 참조 이미지만으로는 충분히 결정되지 않는다. 이러한 표정 의존적 변화는 평가 또한 복잡하게 만든다: 동일 인물의 실제 이미지라도 강한 표정 하에서는 중립(neutral) 참조와의 유사도가 감소할 수 있다. 우리는 이러한 한계를 생성과 평가 양쪽 관점에서 조사한다. 먼저, 우리는 통제된 사진과 MEAD 비디오를 사용하여 표정 강도(expression intensity)에 따라 얼굴 인식 유사도(face-recognition similarity)가 어떻게 달라지는지를 정량화한다. 그다음, 우리는 다양한 표정 의존적 얼굴 구성을 포착하는 작지만 표현력 있는 참조 갤러리(reference gallery)를 구축한다. 이 갤러리와의 매칭은 표정이 풍부한 움직임(expressive motion) 하에서 아이덴티티 유사도에 대해 더 견고한 측정치를 제공한다. 표정 강도에 따른 성능 저하를 추가로 드러내기 위해, 우리는 약한(mild), 강한(intense), 극단적인(extreme) 표정에 대해 아이덴티티 유사도를 각각 별도로 보고한다. 생성 측면에서는, 우리는 Stand-In을 확장하여 표정 다양성 참조 세트(expression-diverse reference sets)에 조건화(condition)하도록 하고, 학습 비디오로부터 일관되면서도 다양한 얼굴 크롭(face crop)을 추출하는 데이터 큐레이션 파이프라인(data-curation pipeline)을 개발한다. 단일 인물 사진만 사용 가능한 실용적인 환경에서는, 사전학습된 얼굴 재연(facial reenactment) 모델로 추가적인 표정을 합성하여 참조 세트를 구성한다. 우리의 통제된 벤치마크(benchmark)에서, 실제 참조 세트와 합성 참조 세트 모두 세 가지 표정 강도 구간 전반에서 평가된 베이스라인(baseline)보다 아이덴티티 유사도 측면에서 더 우수한 성능을 보였으며, 극단적인 표정에서 가장 큰 개선을 보였다.

arXiv:2610.10984v1cs.CV

Fluid-Gen-Zero: 학습 없이 사전학습된 비디오 생성기를 물리 법칙에 그라운딩하기

Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training

본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.

arXiv:2610.10343v2cs.CV

병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/

arXiv:2610.06339v2cs.CV

BabelFake: 다국어 시청각 딥페이크 벤치마크

BabelFake: A Multilingual Audio-Visual DeepFake Benchmark

신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.

arXiv:2609.38748v2cs.CV

스테레오로 세상 듣기: 몰입형 비디오-오디오 동시 생성을 위한 동적 공간 대응 학습

Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

최근의 비디오-오디오 동시 생성 모델들은 강력한 의미론적 대응과 시간적 동기화를 달성했습니다. 그러나 AR/VR 및 인터랙티브 게이밍과 같은 응용 분야에서는 몰입감을 제공하기 위해 스테레오 오디오가 추가로 요구되며, 이는 여전히 대체로 간과되고 있습니다. 효과적인 스테레오 오디오는 인지되는 음향 위치가 그에 대응하는 시각적 음원의 움직임과 일관되게 변화해야 합니다. 저자들은 이러한 특성을 동적 공간 대응(Dynamic Spatial Correspondence)이라 칭하며, 시각적 음원 움직임을 스테레오 음향 생성에 결합하는 프레임워크인 StereoBind를 제안합니다. StereoBind는 세 가지 상호보완적 메커니즘을 통해 모션 트랙을 활용하여 시각적 움직임과 스테레오 오디오를 조율합니다. 시각적 모션 바인딩(Visual Motion Binding)은 음원 인식 시청각 대응을 확립하고, 공간 트랙 인코더(Spatial Track Encoder)는 절대적인 음원 위치를 포착하며, 잔차 트랙 RoPE(Residual Track RoPE)는 상대적 움직임을 모델링합니다. 지도 학습 및 평가를 위해 모션 트랙이 쌍으로 구성된 대규모 스테레오 오디오-비디오 데이터셋인 StereoWorld-29K와 시청각 공간 일관성을 측정하기 위한 StereoWorldBench를 구축합니다. 실험 결과, StereoBind는 전반적인 시청각 품질을 유지하면서 기존 모델 대비 스테레오 오디오 생성의 공간적 정렬(spatial alignment)을 대폭 개선함을 보여줍니다.

arXiv:2609.34221v2cs.CV

WorldWeave: 비디오 생성을 위한 지속적 기하학적 세계 확장

WorldWeave: Growing Persistent Geometric Worlds for Video Generation

급격한 발전에도 불구하고, 월드 모델은 여전히 명시적이고 지속적인 구조적 메모리가 부족하여 지속적인 장면 확장과 시점 간 재방문 과정에서 일관된 세계 구조를 유지하는 데 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 세계 상태 유지와 시각적 렌더링을 분리하는 세계 생성 프레임워크인 WorldWeave를 제안합니다. 구체적으로 WorldWeave는 지속적인 고도 지도(elevation map) 생성과 에이전트(agent) 기반 장면 구성 및 이어 붙이기를 결합하여, 기존 구조를 보존하면서 구조적 메모리를 점진적으로 확장하는 확장 가능한 명시적 3D 세계를 구축합니다. 먼저 지형 모듈은 이웃 조건화 및 경계 제약 조건 하에서 디퓨전 기반 이미지 아웃페인팅을 사용하여 연속적인 미터법 고도 지도를 생성합니다. 다음으로 에이전트는 계층적 의미론적 계획, 결정론적 기하 구조 컴파일 및 로컬 수정을 통해 사용자 의도, 지형 근거 및 지역 간 연결성 제약 조건을 통합하여 장면을 구성합니다. 마지막으로 시각적 생성 과정에서 계획된 카메라 궤적은 읽기 전용 인터페이스를 통해 세계 기하 구조를 쿼리하고, 생성된 결과를 세계 상태에 다시 쓰지 않으면서 비디오 합성을 유도하는 깊이 시퀀스를 생성합니다. 결과적으로 구조적 메모리는 짧은 윈도우의 비디오 생성과 독립적으로 유지되어 사전에 정의된 지도 경계 없이 지속적인 확장을 가능하게 하며, 여러 궤적 및 반복 방문 전반에 걸쳐 관측에 일관된 기하학적 기반을 제공합니다.

arXiv:2609.23153v2cs.CV

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2608.26535v2cs.AI

Multi2AV-Safety: 멀티모달-오디오-비디오 생성 모델의 안전성 벤치마킹

Multi2AV-Safety: Benchmarking Safety in Multimodal-to-Audio-Video Generation

최근 오디오-비디오 생성 모델은 텍스트, 이미지, 오디오, 비디오의 결합 조건화(joint conditioning)를 점진적으로 지원하고 있습니다. 이러한 기능은 교차 모달(cross-modal) 상호작용을 악용하거나 유해한 의도를 은폐하여 안전장치를 우회하고 유해한 오디오-비디오 출력을 유도하는 공격을 가능하게 하기도 합니다. 그러나 기존의 생성 안전성(generation-safety) 벤치마크는 이러한 발전을 따라가지 못하여, 멀티모달 입력 조합 및 은폐된 공격 의도에 대한 제한적인 커버리지만을 제공합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 11개의 비단일(non-singleton) T/I/A/V 조건화 구성 전반, 4가지 공격 의도 범주, 5가지 위해(harm) 범주에 걸친 11,024개의 공격 인스턴스로 구성된 멀티모달-오디오-비디오 생성을 위한 최초의 전면적 레드팀 벤치마크 Multi2AV-Safety를 소개합니다. 4개의 멀티모달 조건부 오디오-비디오 생성 모델과 8개의 안전 가드를 포함한 최신 SOTA 모델을 평가한 결과, 생성 및 안전 보호 전반에서 상당한 취약점이 드러났으며, 멀티모달 구성적 위험과 은폐된 공격 의도 위험이 상호 보완적인 두 가지 과제로 대두되었습니다. 이러한 결과를 바탕으로, 본 논문에서는 구조화된 위험 인식 학습을 통해 구성적 위험 및 공격 의도에 대한 감독을 통합하는 옴니모달(omni-modal) 가드 PerceptGuard를 제안합니다. 근거 생성과 안전성 분류(classification)를 공동으로 학습(training)함으로써, 안전 헤드가 필요 시 설명을 생성하는 능력을 유지하면서도 근거 디코딩 없이 추론(inference) 시 효율적인 예측을 수행할 수 있도록 공유된 위험 표현을 학습합니다. 34개의 안전 벤치마크 전반에서 PerceptGuard는 SOTA 멀티모달 안전 탐지와 매우 경쟁력 있는 단일모달(unimodal) 성능을 결합하여, 옴니 모델에 대한 멀티모달 공격에 맞서는 입력단 안전장치를 강화합니다. 특히 앞서 언급한 위험에 대한 안전 보호를 향상하여 Multi2AV-Safety에서 86.06%의 종합 재현율(recall)을 달성하고 GuardReasoner-Omni를 14.56% 상회합니다.

arXiv:2605.25077v2cs.CV

WorldCraft: 인터랙티브 비디오 월드 모델에서 카메라 내비게이션부터 객체 조작까지

WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models

최근의 비디오 월드 모델(world model)은 인터랙티브한 카메라 내비게이션을 가능하게 하지만, 개별 객체에 대한 제어는 제한적입니다. 본 연구에서는 시점 변화, 생성 청크, 일시적인 비가시성 구간 전반에 걸쳐 객체 궤적 행동이 유효하게 유지되어야 하는 자기회귀(autoregressive) 비디오 월드 모델에서의 지속적인 객체 상태 제어를 연구합니다. 이러한 환경은 자기회귀 메모리가 마지막으로 관찰된 객체 상태를 기록하는 반면 개입된 행동은 화면 밖에서 해당 상태를 업데이트할 수 있기 때문에 행동-메모리 충돌을 유발합니다. 저자들은 카메라 내비게이션과 객체 궤적 제어를 함께 결합한 최초의 카메라 내비게이션 가능 자기회귀 비디오 월드 모델인 WorldCraft를 제시합니다. 사용자가 선택한 객체와 2D 모션 경로가 주어지면, 정규화된 월드 궤적(Normalized World Trajectory, NWT)은 해당 경로를 정규화된 월드 좌표계에 고정하고 각 카메라 뷰로 투영하여 자기회귀 롤아웃(rollout) 전반에 걸쳐 일관된 객체-행동 신호를 생성합니다. 궤적 고정 상태 지속성(Trajectory-Anchored State Persistence, TASP)은 지속적인 NWT 가이던스와 선택적 메모리 갱신을 결합하여, 화면 밖 구간 및 재진입 과정에서도 행동으로 업데이트된 객체 상태를 유지합니다. 경로 선택적 LoRA는 사전학습된 카메라 컨트롤러를 유지하면서 객체 제어 기능을 도입합니다. WorldCraft는 정확하게 결합 가능한 카메라-객체 제어를 달성하며 카메라 충실도를 보존합니다. 나아가 화면 밖 궤적 지도(supervision) 없이도 타깃이 완전히 보이지 않는 확장된 구간 전반에서 행동으로 업데이트된 객체 상태를 유지함을 확인했습니다.

arXiv:2605.19957v2cs.CV

장기 내비게이션-조작 태스크의 체화된 비디오 생성을 위한 월드-에고 모델링

World-Ego Modeling for Embodied Video Generation in Long-Horizon Navigation-Manipulation Tasks

체화된(embodied) 비디오 월드 모델은 일반적으로 장면의 변화와 로봇의 행동을 모두 포착하며, 본 논문에서는 이를 각각 '월드(world)'와 '에고(ego)'로 지칭합니다. 월드와 에고는 서로 다른 기저 역학(dynamics)을 나타냅니다. 월드 예측은 주로 시각적 이력에 의존하며 장면의 안정성을 강조하는 반면, 에고 예측은 현재 지시어에 더 강하게 의존하며 정확한 지시 이행을 강조합니다. 단일 생성 스트림 내에서 두 요소를 모두 모델링하면 이러한 서로 다른 의존성이 얽혀 어느 한 구성 요소의 예측을 특화하기 어려워질 수 있습니다. 결과적으로, 특히 긴 주기(long-horizon)의 내비게이션-조작 태스크에서 장면의 일관성과 정확한 지시 이행을 동시에 유지하기가 어려워집니다. 본 논문에서는 체화된 비디오를 월드와 에고로 분해하고 이들의 생성 과정을 분리(disentangle)할 것을 제안합니다. 구체적으로, 월드는 배경 및 현재 조작되지 않는 객체로 정의하고, 에고는 로봇 및 현재 조작 중인 객체로 정의합니다. 이러한 정의를 기반으로, 역할 조건부 어텐션(role-conditioned attention, RCA) 및 비대칭 쿼리 예산을 사용하는 비전-언어 상태 예측기와 시맨틱 라우팅 전문가 혼합(SR-MoE) 확산 생성기를 결합한 '월드-에고 모델(World-Ego Model, WEM)'을 개발합니다. 또한 엄밀한 평가를 위해, 복합 내비게이션-조작 태스크를 갖춘 장기 체화 비디오 생성을 위한 데이터셋이자 벤치마크인 HTEWorld를 구축하여 세분화된 지시어가 포함된 450만 개 이상의 프레임으로 구성된 12만 5천 개의 학습 비디오 클립과 2천 개 이상의 지시어를 포괄하는 300개의 다중 턴 평가 궤적을 제공합니다. 광범위한 실험을 통해 WEM이 기존 조작 중심 평가에서 경쟁력을 유지하면서 HTEWorld에서 최고 수준의 성능(SOTA)을 달성함을 보입니다.

arXiv:2610.03120v2cs.CV

테스트 시점의 긴 비디오 생성을 위한 분포 내 강제

In-Distribution Forcing for Long Video Generation at Test Time

현대의 자기회귀(AR) 비디오 확산 모델은 짧은 길이의 비디오 생성에는 뛰어나지만, 색상과 질감이 변하고 모션 동역학이 저하되는 표류(drifting) 현상으로 인해 긴 비디오 생성은 여전히 어려운 과제로 남아 있습니다. 기존 연구들은 주로 캐시된 키-값(KV) 항목을 선택하거나 수정하여 표류를 완화하는 KV 조건화(KV conditioning)에 의존합니다. 그러나 우리는 KV 조건화만으로는 캐시된 KV 항목이 분포 내(in-distribution)에 유지된다고 가정하기 때문에 불충분하다는 점을 관찰했습니다. 이 가정은 학습(training) 범위를 넘어서면 유효하지 않습니다. 즉, 롤아웃(rollout) 중에 KV 항목의 구성을 제한하는 요소가 없으므로 캐시된 항목 자체가 분포 외(OOD)가 되는 KV 출처 문제(KV-provenance problem)가 발생합니다. 이를 해결하기 위해 우리는 KV 캐싱과 KV 조건화 모두를 학습 구성과 일치시키는 테스트 시점 프레임워크인 분포 내 강제(In-Distribution Forcing, ID-Forcing)를 제안합니다. 핵심 메커니즘인 자체 캐싱(self-caching)은 근본적으로 OOD KV 항목의 생성을 방지합니다. 각 청크는 이전 KV 항목을 참조(attend)하지 않고 캐시되어 롤링 윈도우를 정확히 분포 내로 유지합니다. 그 결과, ID-Forcing은 짧은 길이의 모델을 분 단위 규모의 비디오 생성으로 매끄럽게 확장합니다. 광범위한 평가를 통해 본 연구의 방법이 표준 비디오 생성 벤치마크에서 경쟁력을 유지하면서도, 자체 표류 지표와 사용자 조사를 통해 검증된 바와 같이 표류 완화 측면에서 이전 연구들을 크게 능가함을 보여줍니다.

arXiv:2608.13368v3cs.CV

손실 유도 다중 전문가 GAN을 통한 수어 영상 합성

Sign Language Video Synthesis via Loss-Guided Multi-Expert GANs

본 예비 기술 보고서에서는 청각 장애인의 의사소통을 개선하기 위해 손실 유도 다중 전문가 생성적 적대 신경망(GAN)을 활용한 수어 영상 합성 프레임워크를 제시합니다. 전역(global), 손(hand), 머리(head)의 세 가지 특화된 판별자(discriminator)가 생성기(generator) 내의 대응하는 전문가 브랜치를 서로 다른 시각적 영역으로 안내하여, 명시적인 다양성 손실 없이도 암묵적인 특징(feature) 전문화를 가능하게 합니다. 초기 학습(training) 단계에서 혼란스러운 역학을 보이기 쉬운 이러한 다중 판별자 시스템을 안정화하기 위해, 각 판별자를 10% 가중치(weight)로 앙상블(ensemble) 평균에 맞춰 정규화하는 United Loss 합의 메커니즘을 도입합니다. 또한 각 브랜치는 학습 가능한 AdaptiveFeatureFusion이 포함된 이중 경로 합성곱-트랜스포머(convolutional-transformer) 설계를 채택하여 합성곱의 안정성과 윈도우 기반 셀프 어텐션(windowed self-attention)의 세부 표현력 간의 균형을 맞춥니다. 생성기는 판별자, 전체론적 생성, 브랜치 특화 생성의 세 가지 모드가 번갈아 나타나는 스케줄에 따라 학습됩니다. 단순하고 반복적인 샘플을 제거한 필터링된 평가 세트가 포함된 자체 구축 156GB 데이터셋(dataset)에서 0.2B 매개변수(parameter) 변형은 29.78 PSNR(0.9593 SSIM)을 달성하고, 0.66B 변형은 7.37M 스텝 후 30.52 PSNR(0.9631 SSIM)에 도달하며, 1.3B 변형은 30.72 PSNR(0.9650 SSIM)을 달성합니다. 0.66B에서 1.3B로 확장 시 매개변수가 거의 두 배로 증가했음에도 불구하고 성능 향상은 +0.20 PSNR에 불과하여 급격한 수확 체감(diminishing returns)을 보여줍니다. 추론(inference) VRAM 사용량은 각각 1.5GB, 약 5GB, 8GB로 소비자용 하드웨어 배포가 가능합니다. 단일 GPU에서 2~3개월에 달하는 학습 주기로 인해 전체 절제 연구(ablation study)는 아직 진행 중입니다. 본 시스템은 2025 홍콩 프론티어 기술 정상회의(Hong Kong Frontier Technology Summit)에서 시연되었습니다.

arXiv:2607.08016v3cs.CV

LightCrafter: 제어 가능하고 일관된 리라이팅을 위한 PBR 조건부 비디오 확산 정제

LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting

PBR 렌더링을 프록시 비디오로 활용해 비디오 리라이팅(video relighting)을 수행하는 하이브리드 파이프라인 LightCrafter를 제안하며, 역 렌더링으로 복원한 장면 내재 속성(geometry, material, illumination)을 물리 기반 렌더링(PBR)으로 먼저 렌더링한 뒤 CogVideoX를 사후학습한 비디오 확산 모델로 정제해 장기적 시간 일관성과 전역 조명 효과를 함께 달성한다. 기존 실세계 리라이팅 벤치마크에서 최첨단 성능을 기록했으며, 합성 벤치마크와 데이터셋, 코드를 공개할 예정이다.

arXiv:2606.00267v2cs.CV

StressDream: 강건한 정책 평가 및 개선을 위한 비디오 월드 모델 유도

StressDream: Steering Video World Models for Robust Policy Evaluation and Improvement

비디오 월드 모델(World Model, WM)은 자가 로봇(ego-robot)의 행동을 조건으로 현실적인 미래 관측을 상상(imagination)함으로써 정책 평가(policy evaluation) 및 개선에 대한 유망성을 보여주었습니다. 월드 모델은 미래에 대한 확률 분포를 모델링할 수 있지만, 정책 평가 및 개선은 일반적으로 명목적 상상(nominal imagination)에 의존하므로 지나치게 많은 샘플을 추출하지 않는 한 로봇 행동의 치명적인 영향(high-impact)을 초래하는 결과를 놓치기 쉽습니다. 월드 모델 상상을 통한 강건한 정책 평가 및 개선을 가능하게 하기 위해, 본 논문에서는 디퓨전 기반 월드 모델의 초기 노이즈를 최적화(optimization)하여 추론(inference) 시점에 지정된 치명적이면서도 그럴듯한 결과로 상상을 유도하는 StressDream을 제안합니다. 그러나 고차원 노이즈 최적화는 어렵습니다. 생성된 비디오에서 미묘하고 장면에 종속적인 목표 이벤트를 추론해야 하는 동시에, 타당하지 않은 상상을 초래하는 분포 외(OOD) 노이즈를 방지해야 하기 때문입니다. 저자들은 이를 두 가지 상호보완적인 목적 함수를 통해 해결합니다. 생성된 비디오를 추론하여 유익한 그래디언트를 제공하는 비전-언어 모델(VLM) 기반의 시맨틱 목적 함수와, 최적화된 노이즈가 OOD로 벗어나는 것을 방지하는 타당성 목적 함수입니다. 자율주행 및 로봇 조작을 위한 최고 수준의 비디오 월드 모델을 통해, StressDream이 과제 실패와 같이 추론 시점에 텍스트로 지정된 치명적이면서도 타당한 결과로 상상을 효과적으로 유도함을 보여주며, 그럴듯한 미래에 바람직하지 않은 결과가 포함된 행동을 식별함으로써 강건한 정책 평가 및 개선을 가능하게 합니다. 비디오 결과는 https://stressdream.github.io/ 에서 확인할 수 있습니다.

arXiv:2605.23891v2cs.CV

Smart-Insertion-V: 폐루프 피드백 이중 스트림 프레임워크를 통한 사실적 비디오 삽입

Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

마스크 없는(Mask-free) 비디오 객체 삽입은 참조 객체를 원본 비디오에 조화롭게 통합해야 하는 까다로운 과제로 부상했습니다. 그러나 기존 방법들은 참조 객체와 원본 장면 사이에 심각한 스타일 도메인 격차가 존재할 때 어려움을 겪습니다. 이를 극복하기 위해, 본 논문에서는 비디오 삽입과 이미지 스타일 전이를 동시에 수행하는 엔드투엔드 이중 스트림(Dual-Stream) 프레임워크인 Smart-Insertion-V를 제안합니다. 이 프레임워크 내에서 이미지 스트림은 비디오 생성 과정을 동기적으로 유도하며, 강건한 삽입을 보장하기 위해 폐루프 피드백(Closed-loop Feedback) 메커니즘이 추가로 결합됩니다. 이러한 다양한 조건화 신호를 통합하는 과정에서 필연적으로 특징(feature) 얽힘과 스타일 누출 문제가 발생합니다. 이 문제를 해결하기 위해, 큰 학습(training) 오버헤드를 발생시키지 않으면서 시공간 오프셋을 통해 서로 다른 신호를 구별하는 Dual-World-View RoPE를 설계했습니다. 나아가 공간적 그라운딩(grounding)과 스타일 적응을 촉진하기 위해, 네이티브 텍스트 인코더로 기존 시간적 가이던스를 보존하면서 시각-언어 모델(VLM)을 활용하여 의미론적 추론을 수행하는 분리형 가이던스 모듈(Decoupled Guidance Module)을 도입합니다. 조화로운 참조 객체 삽입 태스크의 데이터 격차를 해소하기 위해 데이터 큐레이션 파이프라인을 제안하며 오픈소스 데이터셋(dataset)을 공개할 예정입니다. 실험을 통해 본 제안 방법이 객체를 타당한 위치에 삽입하면서도 가장 조화로운 결과를 달성함을 입증합니다.

arXiv:2604.11788v2cs.CV

로그 인코딩 기반 잠재 정렬을 통한 HDR 비디오 생성

HDR Video Generation via Latent Alignment with Logarithmic Encoding

고동적범위(High Dynamic Range, HDR) 영상은 장면의 광도(scene radiance)를 풍부하고 충실하게 표현하지만, 생성 모델이 학습되는 유계(bounded)이며 지각적으로 압축된 데이터와의 불일치로 인해 생성 모델에게 여전히 까난한 과제로 남아 있습니다. 자연스러운 해결책은 HDR을 위한 새로운 표현을 학습하는 것이지만, 이는 추가적인 복잡성과 데이터 요구량을 수반합니다. 본 연구에서는 사전학습된 생성 모델이 이미 포착한 강력한 시각적 사전 지식(visual priors)을 활용함으로써 훨씬 단순한 방식으로 HDR 생성을 달성할 수 있음을 보여줍니다. 저자들은 영화 제작 파이프라인에서 널리 쓰이는 로그 인코딩(logarithmic encoding)이 HDR 영상을 이러한 모델들의 잠재 공간과 자연스럽게 정렬(align)되는 분포로 매핑하여, 인코더를 재학습하지 않고도 경량 미세조정을 통한 직접적인 적응을 가능하게 한다는 점을 관찰했습니다. 또한 입력에서 직접 관찰할 수 없는 세부 정보를 복원하기 위해, 모델이 학습된 사전 지식으로부터 누락된 고동적범위 콘텐츠를 추론하도록 유도하는 카메라 모방 열화 기반 학습 전략을 도입합니다. 이러한 통찰을 결합하여 최소한의 적응만으로 사전학습된 비디오 모델을 사용해 고품질 HDR 비디오 생성을 입증하였으며, 다양한 장면과 까다로운 조명 조건 전반에서 우수한 결과를 달성했습니다. 본 결과는 표현 방식이 학습된 사전 지식과 정렬되도록 선택된다면, HDR이 근본적으로 다른 영상 형성 체계를 나타냄에도 불구하고 생성 모델을 재설계하지 않고도 효과적으로 다룰 수 있음을 시사합니다.

arXiv:2603.15614v2cs.CV

Tri-Prompting: 장면, 대상 및 모션을 통합 제어하는 비디오 확산 모델

Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion

최근 비디오 확산 모델(video diffusion model)들은 뛰어난 시각적 품질과 시간적 일관성을 달성하고 있지만, 장면 레이아웃, 사용자 맞춤형 대상의 정체성(identity), 카메라/대상 모션에 대한 조율된 제어는 여전히 부족합니다. 본 연구에서는 첫 프레임 장면 이미지, 3D 인식 다중 시점 대상 참조(reference), 모션 구동 신호라는 세 가지 프롬프트를 통한 제어 가능한 비디오 생성을 다룹니다. 카메라 모션 하에서 배경 영역은 대체로 추적이 가능한 반면, 전경 대상은 회전하거나 자체 가림(self-occlusion)이 발생하고 정체성이 유지되는 외형이 필요한 새로운 영역을 드러낼 수 있으므로 이러한 설정은 도전적인 과제입니다. 이에 다중 시점 대상 조건화와 이중 조건화된 모션 제어를 결합한 비디오 확산 프레임워크인 Tri-Prompting을 소개합니다. Tri-Prompting은 가시적인 배경 모션에는 XYZ 추적 포인트를 사용하고 전경 대상 자세에는 저해상도 RGB 프록시를 사용하여, 모델이 다중 시점 참조로부터 정밀한 외형을 복원하는 동시에 타당한 대상-장면 상호작용을 위한 유연성을 유지하도록 합니다. 또한 추론(inference) 시점의 ControlNet 스케일 스케줄을 통해 모션 제어 가능성과 시각적 사실성 간의 균형을 더욱 세밀하게 맞춥니다. 모션 재구성을 위한 DaS 및 대상 기반 생성을 위한 Phantom과 같은 특화된 베이스라인들과 비교 평가한 결과, Tri-Prompting은 경쟁력 있거나 개선된 재구성 품질, 더 강력한 다중 시점 정체성 보존, 향상된 3D 일관성을 달성하는 동시에 3D 인식 대상 삽입 및 장면 내 조작을 가능하게 합니다.