PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26916v1cs.CV

PhysRAG: 검색-증강 생성(RAG)을 통한 비디오 생성의 물리 인식 향상

PhysRAG: Enhancing Physics-Awareness in Video Generation via Retrieval-Augmented Generation

검색-증강 생성(RAG)을 활용해 비디오 생성 모델의 물리 인식을 강화하는 PhysRAG 파이프라인을 제안하며, WISA-80K 데이터셋에서 2단계 필터링으로 추출한 고품질 비디오 7K개를 기반으로 학습 가능한 쿼리를 통해 물리 지식을 비디오 diffusion 모델에 주입한다. PhyGenBench와 VBench 벤치마크에서 시각적 품질과 물리 규칙 준수 모두 최첨단 성능을 달성하며 Pika, Kling 등 기존 모델을 능가했다.

arXiv:2606.26795v1cs.CV

NaviCache: 비디오 생성을 위한 테스트 타임 자기 보정 캐싱

NaviCache: Test-Time Self-Calibration Caching for Video Generation

비디오 확산 모델(VDMs)의 추론 속도를 높이기 위해, NaviCache는 feature 진화를 관성 항법 시스템(INS) 문제로 재정의하여 오프라인 보정 없이 테스트 타임에 자기 보정이 가능한 캐싱 프레임워크를 제안한다. 이중 상태 추정 엔진과 불확실성 인식 측정 갱신 메커니즘을 통해 계산 건너뛰기 오차를 이론적으로 한정하며, HunyuanVideo, Wan, Open-Sora 시리즈 실험에서 기존 방법 대비 우수한 성능을 달성했다.

arXiv:2606.26778v1cs.CV

LearniBridge: 확산 모델 가속을 위한 특징 캐싱의 학습 가능한 보정

LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration

확산 Transformer(DiT)의 특징 캐싱은 고가속 구간에서 오차 누적이 심해지는데, LearniBridge는 다양한 프롬프트에 공통인 저랭크 보정 구조를 활용해 경량 LoRA로 여러 타임스텝을 연결하는 학습 가능한 보정 메커니즘을 제안한다. 3–5개 샘플만으로 학습해도 FLUX·HunyuanVideo·WAN2.1에서 최대 5.87×·5.75×·4.10× 추론 가속을 달성하고, WAN2.1에서는 4.10× 가속에서 VBench가 이전 SOTA 대비 1.28% 향상된다.

arXiv:2606.26764v1cs.CV

제어 가능한 4D 심장 MRI 합성을 위한 해부학 가이드 잔차 모션 확산

Anatomy-Guided Residual Motion Diffusion for Controllable 4D Cardiac MRI Synthesis

심장 MRI의 제한된 주석 데이터와 기기 간 도메인 편차 문제를 해결하기 위해, 반지도 학습 VAE와 계단형 잠재 확산 모델(LDM)을 결합하여 해부학적 구조와 시간적 동역학을 분리 생성하는 4D cine CMR 합성 프레임워크를 제안한다. 정적 해부학 생성과 잔차 잠재 모션 예측을 순차적으로 수행하며, 합성 데이터로 학습 세트를 증강한 결과 nnU-Net 기반 심장 분할에서 평균 Dice 점수 1.4% 향상 및 Hausdorff Distance 3.0mm 감소를 달성했다.

arXiv:2606.26694v1cs.CV

PhysEditWorld: 물리 편집 가능 월드 모델을 향한 대규모 데이터셋

PhysEditWorld: A Large-Scale Dataset Toward Physics-Editable World Models

게임 월드 모델의 물리 법칙 편집 가능성을 지원하기 위해, UE5 재생(replay) 파이프라인을 활용해 동일한 장면·행동·카메라 조건에서 중력 설정만 변경한 매칭 롤아웃을 구축한 대규모 멀티모달 데이터셋 PhysEditWorld를 제안한다. 12개의 시네마틱 UE5 장면과 6천만 개 이상의 렌더링 프레임, RGB·깊이·노멀·오디오·중력 레이블 등 동기화된 멀티모달 신호를 포함하며, 생성 비디오 모델 및 비전-언어(vision-language) 모델 실험에서 중력 충실 역학 모델링 개선 가능성을 확인했다.

arXiv:2606.26668v1cs.CV

Disco-LoRA: 다중 개념 비디오 맞춤화를 위한 콘텐츠, 스타일, 모션의 분리적 결합

Disco-LoRA: Disentangled Composition of Content, Style, and Motion for Multi-concept Video Customization

T2V(Text-to-Video) 모델에서 콘텐츠, 스타일, 모션을 동시에 제어하는 다중 개념 비디오 맞춤화 문제를 해결하기 위해, Disco-LoRA는 반복적 이중 LoRA 분리 프레임워크로 각 개념을 분리 학습하고 Z-score 기반 통계적 정규화로 LoRA 가중치 분포를 정렬해 개념 간 간섭 없이 자유롭게 결합한다. 광범위한 실험에서 외형, 스타일, 모션 보존 모두에서 최첨단 성능을 달성했다.

arXiv:2606.26507v1cs.HC

DanceDuo: 인간 동작과 AI 안무를 연결하다

DanceDuo: Bridging Human Movement and AI Choreography

확산 모델(DanceFusion) 기반 플랫폼 DanceDuo는 다양한 음악 장르에 맞춘 AI 안무 무용 시퀀스를 생성하고, 사용자가 음악·휴머노이드 모델을 선택하거나 개인 댄스 영상을 불러와 ROMP 기반 자세 추정으로 AI 동작과 비교할 수 있게 한다. 사용자 연구에서는 인터페이스가 직관적이었고 특히 무용 비교 기능이 몰입감과 연습 동기를 높인다는 평가를 받았다.

arXiv:2606.25041v2cs.CV

Wan-Streamer v0.1: 엔드투엔드 실시간 인터랙티브 파운데이션 모델

Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

Wan-Streamer는 VAD·ASR·TTS 등 외부 모듈 없이 언어·오디오·비디오를 단일 Transformer에서 입출력 토큰으로 교차 처리하고 블록 인과 어텐션(block-causal attention)으로 실시간 전이중(full-duplex) 스트리밍 상호작용을 학습하는 엔드투엔드 파운데이션 모델이다. 인과 인·디코더와 저지연 멀티모달 토큰 스케줄링으로 25fps에서 160ms 단위 스트리밍을 지원하며, 모델 측 응답 지연 약 200ms·네트워크 포함 총 지연 약 550ms를 달성해 1초 미만 오디오-비주얼 통신이 가능하다.

arXiv:2606.02564v2cs.CV

적응형 테스트 타임 최적화를 통한 비디오 추론에서 VLM은 좋은 교사

VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization

VLM을 문제 해결기(solver) 대신 "교사(teacher)"로 전환하여, VLM이 작업별 규칙을 추출해 미분 가능한 보상(differentiable reward)을 구성하고 경량 LoRA 모듈의 테스트 타임 온라인 최적화를 통해 Video Generation Model(VGM)을 안내하는 VLM-as-Teacher 패러다임을 제안한다. VBVR-Bench와 RULER-Bench에서 평균 16.7점 향상을 달성하며 VLM-as-Solver 및 Best-of-N 스케일링을 유사한 테스트 타임 비용으로 크게 능가한다.

arXiv:2603.11755v2cs.CV

가림 인식 희소 3D 손 관절 기반 제어 가능한 자아 중심 영상 생성

Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints

자아 중심(egocentric) 손-물체 상호작용 영상 생성에서 2D 궤적·암묵적 포즈가 가려짐 상황의 동작 불일치와 환각을 유발하는 한계를, 희소 3D 손 관절을 명시적 제어 신호로 쓰고 가림 인식 특징 추출·3D 기하 임베딩 주입으로 완화한다. 자동 주석으로 100만 개 클립을 구축한 뒤 실험에서 최신 기준선을 넘어 사실적인 손-물체 상호작용 영상을 생성했다.

arXiv:2603.10446v4cs.CV

SignSparK: 희소 키프레임 학습을 통한 효율적인 다국어 수화 생성

SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning

수화 생성(SLP)의 평균 회귀와 불연속 전환 문제를 희소 키프레임 학습으로 해결하기 위해, 수화 경계를 자동 추출하는 FAST와 조건부 흐름 매칭(CFM) 기반 SignSparK를 제안한다. 이산적 시간 앵커로 3D 수화 시퀀스를 합성하고 Keyframe-to-Pose 편집을 지원하며, 네 가지 수화 언어에서 다양한 SLP 벤치마크 최첨단 성능을 달성한다.

arXiv:2606.25079v1cs.CV

FreeStory: 자유 형식 비주얼 스토리텔링을 위한 학습 없는 캐릭터 일관성

FreeStory: Training-Free Character Consistency for Free-Form Visual Storytelling

비주얼 스토리텔링(visual storytelling)은 내러티브 프롬프트와 정렬되면서도 이미지 전반에 걸쳐 캐릭터 외형이 일관된 이미지 시퀀스를 생성하는 것을 목표로 한다. 최근의 학습 없는(training-free) 방법들은 어텐션 특징을 재사용하여 캐릭터 일관성을 향상시키지만, 모든 프롬프트에 완전한 캐릭터 설명이 반복되는 구조화된 프롬프트에 의존한다. 이러한 가정은 작업을 단순화하지만, 캐릭터가 일반적으로 한 번 소개된 후 대명사나 유형 기반 표현으로 지칭되는 자연스러운 스토리텔링과는 괴리가 있다. 우리는 자유 형식 프롬프트 하에서의 캐릭터 일관성을 개체 기반(entity-grounded) 특징 재사용으로 재정식화하는 학습 없는 프레임워크 FreeStory를 제안한다. 우리의 방법은 참조 언급(reference mention)을 해당 캐릭터 설명과 연결하고, 동적 캐릭터 마스크, 대응 인식 특징 매칭(correspondence-aware feature matching), 키-값 주입(key-value injection), 쿼리 블렌딩(query blending)을 결합하여 생성 다양성을 유지하면서 정체성을 보존한다. 또한 단일 및 다중 캐릭터 스토리를 모두 포함하는 이 설정을 위한 벤치마크 FreeStoryBench를 소개한다. 실험 결과, FreeStory는 구조화된 벤치마크에서 학습 없는 방법들 중 최첨단 성능을 달성하며, 자유 형식 프롬프트 하에서 기준 방법들 대비 전반적으로 더 강한 일관성을 보인다.

arXiv:2606.25040v1cs.CV

Chorus II: 효율적인 이미지-투-비디오 생성을 위한 요청 간 희소성 재사용

Chorus II: Cross-Request Sparsity Reuse for Efficient Image-to-Video Generation

이미지-투-비디오(I2V) 생성을 위한 확산 모델 서빙은 계산 비용이 높아 대규모 배포에 상당한 도전을 제기한다. 실제 I2V 워크로드는 반복되는 효과 템플릿, 연관된 피사체, 반복되는 샷 레이아웃 등 유사한 요청을 자주 포함한다. 기존 요청 간 가속 방법은 주로 특징(feature) 재사용을 통해 이러한 중복성을 활용한다. 우리는 유사한 I2V 요청이 매우 일관된 희소(sparse) 어텐션(attention) 패턴을 공유한다는 점을 관찰하였으며, 이를 통해 과거의 희소 마스크를 온라인 마스크 예측 오버헤드 없이 요청 조건부 사전(prior)으로 활용할 수 있음을 발견하였다. 우리는 희소성(sparsity) 재사용을 핵심으로 하고, 경량화된 가이던스 강화(guidance enhancement)로 보호되는 선택적 특징 재사용을 확장으로 포함하는 요청 간 재사용 프레임워크를 제안한다. 희소성 재사용은 공유 희소 마스크 재사용으로 구현되며, 유사한 과거 요청에서 얻은 고품질 희소 마스크를 재사용하여 요청별 온라인 마스크 예측을 회피한다. 선택적 특징 재사용은 시공간적으로 높은 중복성을 가진 영역에 다운샘플링 연산을 적용하여, 효율성 향상을 유지하면서 경계 아티팩트를 완화한다. 가이던스 강화는 재사용 후 이미지/텍스트 조건화를 강화하여 의미적 드리프트 및 조건 준수 문제를 완화한다. 실험 결과, 기본 희소성 재사용 구성으로 생성 품질을 유지하면서 2.16배의 속도 향상을 달성하였다.

arXiv:2606.23743v2cs.CV

Sol Video Inference Engine: 효율적인 비디오 생성을 위한 에이전트 네이티브 풀스택 가속 프레임워크

Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation

현대의 비디오 확산 모델은 스케일링을 통해 더 높은 생성 품질을 달성하지만, 이는 추론 비용도 함께 증가시킨다. 많은 가속 방법이 제안되었음에도 불구하고, 핵심 과제는 가장 효과적인 가속 전략이 인스턴스마다 고도로 특이적이라는 점이다. 특정 모델, 하드웨어, 추론 구성의 조합에서 잘 작동하는 방법이 다른 조합에서는 효과적이지 않은 경우가 많다. 모델마다 아키텍처, 수치적 민감도, 어텐션 집중 패턴이 다르며, 추론 설정은 공간적·시간적 해상도와 비디오 길이에 따라 다르고, 하드웨어 플랫폼은 메모리 계층 구조, 지원하는 수치 형식, 커널 처리량이 서로 다르다. 이러한 요소들이 방대한 튜닝 공간을 형성하여 수동 성능 엔지니어링을 비용이 높게 만든다. 우리는 비디오 확산 모델을 위한 에이전트 기반, 네이티브, 학습 불필요(training-free) 가속 프레임워크인 Sol Video Inference Engine을 제안한다. 이 프레임워크는 캐시, 희소 어텐션(sparse attention), 토큰 가지치기, 양자화, 커널 융합이라는 다섯 가지 광범위하게 적용 가능한 기법을 인스턴스별 최적화를 위한 에이전트 기반 가속 스택으로 구성한다. 모델, 하드웨어 플랫폼, 서빙 구성으로 정의된 구체적인 배포 대상에 대해, 병렬 스킬 에이전트들이 각 기법의 구현을 최적화하고, 에이전트 통합기(agent integrator)가 이를 글로벌 가속 스택으로 합성하며, 사람 검증자가 생성 품질에 대한 피드백을 제공한다. 우리는 이 워크플로를 크기와 아키텍처가 서로 다른 세 가지 비디오 모델, 즉 64B Cosmos3-Super, 22B LTX-2.3, 2B SANA-Video에 적용하였다. 최소한의 인력으로 풀스택이 종단 간(end-to-end) 2배 이상의 가속을 달성하면서 VBench 품질을 거의 손실 없이 유지함으로써, 비디오 확산 가속을 위한 에이전트 프레임워크의 효과를 입증하였다.

arXiv:2606.08674v3cs.CV

BioVid: 생물학적 행동 의미 이해를 통한 자기회귀 비디오 생성

BioVid: Autoregressive Video Generation with Biological Behavior Semantic Comprehension

생물학적 행동을 위한 비디오 생성은 시각적으로 그럴듯한 동작 이상을 요구한다: 행동의 지속 시간 자체가 의미론적 속성이다. 기존 모델들은 대개 고정된 시간 윈도우, 외부 연속, 또는 프롬프트 기반 스토리에 의존하므로, 길이가 행동으로부터 학습되는 것이 아니라 외부에서 지정된다. 이 격차를 해소하기 위해, 우리는 적응형 길이 생물학적 행동 생성을 위한 데이터 기반 자기회귀 프레임워크인 BioVid를 제안한다. BioVid는 2D 인코딩/3D 디코딩 토크나이저를 사용한다: 2차원 FSQ-R3GAN 인코더가 각 프레임을 이산 시각 토큰으로 변환하여 다음 토큰 예측 및 EOS 기반 종료에 적합한 단일 프레임 정보를 보존하고, 시간적으로 팽창되고 비디오 파인튜닝된 3차원 디코더가 생성된 토큰을 시간적 컨텍스트와 함께 재구성하여 플리커링을 줄인다. 인과적 트랜스포머가 프레임 단위 토큰 시퀀스를 모델링하고, 첫 번째 프레임만을 조건으로 하여 시퀀스 종료(End-of-Sequence) 토큰을 방출할 때 생성을 중단함으로써, 지속 시간이 학습된 행동 분포로부터 자연스럽게 결정되도록 한다. 우리는 NTU RGB+D의 A001 음료 섭취 행동에 대해 BioVid를 평가한다. 94개의 홀드아웃 클립에서 BioVid는 실제 지속 시간 분포로부터 1.24 프레임의 Wasserstein-1 거리를 달성한다. 비교를 위해, 고정 길이 베이스라인은 데이터셋 평균에 가장 근접한 가용 길이로 설정했을 때도 약 6~7 프레임의 거리를 보이며, 기존의 16프레임 생성 길이를 사용할 경우 약 15 프레임의 거리를 보인다. 이러한 결과는 BioVid가 생물학적 행동의 내재적 지속 시간 분포를 학습하고 재현하는 능력을 입증한다.

arXiv:2605.20183v4cs.CV

MSAVBench: 멀티샷 오디오-비디오 생성의 종합적이고 신뢰할 수 있는 평가를 향하여

MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation

비디오 생성은 실세계 요구를 충족하기 위해 단일 샷 합성에서 복잡한 멀티샷 오디오-비디오(MSAV) 내러티브로 빠르게 진화하고 있다. 그러나 이러한 최첨단 모델을 평가하는 것은 근본적인 과제로 남아 있다. 기존 벤치마크는 범위와 데이터 다양성이 제한적이고 경직된 평가 파이프라인에 의존하여, 현대 MSAV 모델의 체계적이고 신뢰할 수 있는 평가를 방해한다. 이러한 격차를 해소하기 위해, 우리는 멀티샷 오디오-비디오 생성을 위한 최초의 종합 벤치마크이자 적응형 하이브리드 평가 프레임워크인 MSAVBench를 소개한다. 본 벤치마크는 비디오, 오디오, 샷, 레퍼런스의 네 가지 핵심 차원에 걸쳐 다양한 태스크 설정, 최대 15개에 이르는 다양한 샷 수, 그리고 난이도 높은 비현실적 시나리오를 포함한다. 평가 프레임워크는 샷 분할을 위한 적응형 자기 교정 메커니즘, 주관적 지표에 대한 인스턴스별 루브릭, 복잡한 판단을 위한 도구 기반 증거 추출을 통해 견고성을 향상시킨다. 또한 MSAVBench는 스피어만 순위 상관계수 91.5%를 달성하며 인간 판단과 높은 일치도를 보인다. 19개의 최신 클로즈드 소스 및 오픈 소스 모델에 대한 체계적인 평가 결과, 현재 시스템은 감독 수준의 제어와 세밀한 오디오-비주얼 동기화에 여전히 어려움을 겪고 있으며, 모듈형 또는 에이전트 기반 생성 파이프라인이 오픈 소스와 클로즈드 소스 모델 간의 격차를 좁히는 유망한 방향임을 보여준다. 벤치마크 데이터와 평가 코드는 https://github.com/ali-vilab/MSAVBench 에서 공개적으로 이용 가능하다.

arXiv:2604.03723v4cs.CV

SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation

Controlling both camera motion and object dynamics is essential for coherent and expressive video generation, yet current methods typically handle only one motion type or rely on ambiguous 2D cues that entangle camera-induced parallax with true object movement. We present SymphoMotion, a unified motion-control framework that jointly governs camera trajectories and object dynamics within a single model. SymphoMotion features a Camera Trajectory Control mechanism that integrates explicit camera paths with geometry-aware cues to ensure stable, structurally consistent viewpoint transitions, and an Object Dynamics Control mechanism that combines 2D visual guidance with 3D trajectory embeddings to enable depth-aware, spatially coherent object manipulation. To support large-scale training and evaluation, we further construct RealCOD-25K, a comprehensive real-world dataset containing paired camera poses and object-level 3D trajectories across diverse indoor and outdoor scenes, addressing a key data gap in unified motion control. Extensive experiments and user studies show that SymphoMotion significantly outperforms existing methods in visual fidelity, camera controllability, and object-motion accuracy, establishing a new benchmark for unified motion control in video generation. Codes and data are publicly available at https://grenoble-zhang.github.io/SymphoMotion/.

arXiv:2512.17796v2cs.CV

CustomX: Unified Character, Action, and Scene Customization in Video World Models

Recent advances in world models have greatly enhanced interactive environment simulation. Existing methods mainly fall into two categories: (1) static world generation models, which construct 3D environments without active agents, and (2) controllable-entity models, which allow a single entity to perform limited actions in an otherwise uncontrollable environment. In this work, we introduce CustomX, leveraging the realism and structural grounding of static world generation while extending controllable-entity models to support user-specified characters capable of performing open-ended actions. Users can provide a 3DGS scene and a character, then use natural language to direct the character to perform diverse behaviors, ranging from basic locomotion to object-centric interactions, while freely exploring the environment. CustomX synthesizes temporally coherent video clips that preserve visual fidelity with the provided scene and character, formulated as a conditional autoregressive video generation problem. Built upon a pre-trained video generator, our training strategy significantly enhances motion dynamics while maintaining generalization across actions and characters. Our evaluation covers a broad range of aspects, including visual quality, character consistency, action controllability, and long-horizon coherence.

arXiv:2509.17773v3cs.CV

LoT-Pass: Long-term-robust Image Watermarking for Image to Video Generation

The rapid progress of image-guided video generation (I2V) has raised concerns about its potential misuse in misinformation and fraud, underscoring the urgent need for effective digital watermarking. While existing watermarking methods demonstrate robustness within a single modality, they fail to trace source images in I2V settings. To address this gap, we introduce the concept of Robust Diffusion Distance, which measures the temporal persistence of watermark signals in generated videos. Building on this, we propose I2VWM, a cross-modal watermarking framework designed to enhance watermark robustness across time. I2VWM leverages a video-simulation noise layer during training and employs an optical-flow-based alignment module during inference. Experiments on both open-source and commercial I2V models demonstrate that I2VWM significantly improves robustness while maintaining imperceptibility, establishing a new paradigm for cross-modal watermarking in the era of generative video. \href{https://github.com/MrCrims/I2VWM-Robust-Watermarking-for-Image-to-Video-Generation}{Code Released.}

arXiv:2606.24829v1cs.CV

GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction

Camera-prompted text-to-video (T2V) models are increasingly used to synthesize virtual camera captures, such as orbiting objects or moving through static scenes. For these outputs, visual plausibility is insufficient: the generated frames should also provide coherent multi-view evidence for a single static 3D scene. We introduce GeoT2V-Bench, a reconstruction-based diagnostic benchmark for evaluating whether camera-prompted T2V clips can support explicit rigid 3D reconstruction. Our pipeline estimates per-frame camera intrinsics and poses with VGGT-style geometry estimation, fits DeformableGS, derives a static MedianGS proxy by temporal-median aggregation, and renders this proxy along the estimated camera path. Instead of producing a pass/fail label or a single scalar score, GeoT2V-Bench reports a continuous reconstruction profile covering apparent image motion, estimated trajectory behavior, MedianGS static rendering error, static-render flow agreement, and the gap between flexible and static fits. On a fair-format four-seed evaluation with 3,840 completed reconstructions from 12 open-weight model configurations and 80 GeCo-Eval static-scene prompts, we find that visible motion, static rendering error, flow agreement, and flexible-vs-static behavior often disagree. GeoT2V-Bench therefore captures complementary failure modes that emerge when generated videos are tested as global static-scene acquisitions.