PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00861v2cs.CV

TrajLoc: 다중 객체 모션 제어를 위한 궤적-어텐션 위치추정

TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control

TrajLoc은 이미지-비디오(I2V) 생성에서 다중 객체의 모션을 정밀하게 제어하기 위해, 각 객체 토큰의 크로스-어텐션 가중치를 목표 궤적에 정렬된 가우시안 히트맵으로 대체하는 어텐션 로컬라이제이션 기법을 제안한다. CogVideoX 5B와 WaN 2.1 14B 두 백본에서 최대 20개 객체를 동시에 제어하는 6개 데이터셋 평가 결과, 기존 최강 베이스라인 대비 평균 PSNR +4.3 dB 향상과 궤적 끝점 오차 51% 감소를 달성했다.

arXiv:2607.21580v2cs.CV

GraphVid: 대화형 그래프 제어 비디오 생성

GraphVid: Interactive Graph-Controllable Video Generation

제어 가능한 비디오 생성은 텍스트 프롬프트나 주로 픽셀 움직임을 제약하는 모션 제어 입력으로 정밀한 다중 객체 상호작용을 지정하기 어렵기 때문에 여전히 도전적인 과제이다. 실제로 궤적 기반 제어는 사용자가 여러 객체에 대한 정확한 궤적을 그려야 하는 경우가 많으며, 이는 장면 복잡도에 따라 확장성이 떨어지고 가림(occlusion)이나 겹침(overlap) 상황에서 모호해진다. 유연하면서도 정밀한 다중 주체 제어를 가능하게 하기 위해, 구조화된 상호작용 그래프를 통한 대화형 제어를 지원하는 그래프 조건 이미지-투-비디오 생성 모델 GraphVid를 제안한다. 또한 상호작용 인식 비디오 생성 모델의 학습을 가능하게 하기 위해 구조화된 관계 주석이 포함된 대규모 상호작용 중심 비디오 데이터셋 GraphVid-Bench를 구축한다. 이전 모션 제어 방법들보다 훨씬 적은 학습 데이터와 더 적은 학습 가능 파라미터를 사용함에도 GraphVid는 강력한 제어 가능성과 비디오 품질을 제공한다. Motion-I2V와 비교하면 GraphVid는 FID를 최대 39.9%, FVD를 37.6% 낮추면서 PSNR(9.87=>15.98)과 SSIM(0.38=>0.61)을 개선한다. 우리 결과는 구조화된 의미론적 인터페이스가 제어 가능한 비디오 생성을 위한 강력한 패러다임이 될 수 있는 잠재력을 보여준다.

arXiv:2607.01499v3cs.CV

Anti-Prompt: 텍스트 기반 이미지-비디오 생성에 대한 이미지 보호

Anti-Prompt: Image Protection against Text-Guided Image-to-Video Generation

텍스트 기반 이미지-비디오(I2V) 생성 모델이 개인 이미지를 무단으로 애니메이션화하는 문제를 막기 위해, Anti-Prompt는 I2V 모델의 텍스트 의존성을 역이용해 디노이징 과정에서 텍스트 조건부 상호작용을 약화시키고 시각 전용 경로를 강화하는 감지 불가능한 섭동(perturbation)을 이미지에 주입한다. 두 가지 대표적인 I2V 아키텍처(full-attention, cross-attention)에서 강력한 보호 성능과 높은 전이성을 검증하였으며, Video-LLM 기반 평가 프로토콜을 통해 생성 실패를 체계적으로 진단한다.

arXiv:2607.22959v1cs.CV

HALLELUAI: 대규모 초현실적 이미지-투-비디오 생성을 위한 환각 인식 AI 시스템

HALLELUAI: A Hallucination-Aware AI System for Ultra-Realistic Image-to-Video Generation at Scale

AI 생성 비디오는 마케팅, 제품 스토리텔링, 창작 워크플로 전반에서 점점 더 많이 사용되고 있지만, 자동화된 고정밀 품질 관리는 생산 확장의 주요 제약으로 남아 있다. 우리는 이미지-투-비디오 출력을 검수·재생성하여 전문가 수준의 창작 기준을 충족하고, 일관된 최종 사용자 품질 경험(QoE)을 갖춘 초현실적 비디오를 대규모로 제공하는 end-to-end 시스템인 HALLELUAI를 제시한다. 이 시스템은 프레임 수준의 미학, 시간적 모션 충실도, 원본 이미지 대비 세밀한 환각(hallucination) 위험을 평가하는 비디오 검수 모듈과, 프롬프트 정제, 제어된 카메라 조정, 대상 모델 또는 이미지 전환, 구조화된 재시도 전략을 통해 실패를 반복적으로 수정하는 에이전트(agentic) 재생성 모듈을 통합한다. 검수 로직은 도메인별 창작 가이드라인에 정렬(alignment)되어 있으며, 재생성을 직접 구동하는 세분화되고 기계 실행 가능한 피드백을 생성한다. 창작 전문가와의 human-in-the-loop 평가에서 HALLELUAI는 강한 정렬을 보이며, 제품 및 마케팅 배치에 적합한 초현실적·프로덕션급 비디오를 대규모로 안정적으로 출력한다. 이 프레임워크는 대규모 이미지-투-비디오 생성을 가능하게 하면서 시각적 사실성, 브랜드 안전성, 엄격한 입력 이미지 충실도를 강제함으로써 신뢰할 수 있는 AI 생성 비디오 콘텐츠를 발전시킨다.

arXiv:2505.16456v3cs.CV

PhyMAGIC: 신뢰도 기반 LLM을 활용한 물리적 동작 인식 생성 추론

PhyMAGIC: Physical Motion-Aware Generative Inference with Confidence-guided LLM

단일 이미지에서 물리적으로 일관된 3D 동적 콘텐츠를 생성하기 위해, PhyMAGIC은 사전학습된 이미지-투-비디오 모델로 다양한 motion probe를 합성하고 비전-언어 모델(VLM)의 신뢰도 점수 기반 반복 정제를 통해 밀도·탄성·항복 응력 등 물리 속성을 추론한 뒤, 미분 가능한 Material Point Method(MPM) 시뮬레이터에서 실행하는 학습 불필요(training-free) 프레임워크다. PhysGaussian, PhysGen 등 다양한 실험에서 기존 최신 비디오 생성 모델 및 물리 인식 기반 모델 대비 동작-텍스트 정렬과 물리적 타당성 모두에서 우수한 성능을 달성했다.

arXiv:2607.03803v1cs.CV

CineMobile: 영화적 카메라 모션 생성을 위한 온디바이스 이미지-투-비디오 디퓨전

CineMobile: On-Device Image-to-Video Diffusion for Cinematic Camera Motion Generation

모바일 기기에서의 이미지-투-비디오 생성에 대한 수요가 증가함에 따라, 불릿 타임(bullet time), 달리 줌(dolly zoom), 슬로모션 등 영화적 모션 효과에 대한 관심이 높아지고 있다. 디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 비디오 생성에서 우수한 성능을 보이지만, 방대한 매개변수 크기와 다단계 반복적 디노이징 과정으로 인해 상당한 연산 부담이 발생하여 모바일 기기에서의 효율적인 생성이 어렵다. 우리는 이 격차를 해소하기 위해 CineMobile을 제안한다. 구체적으로, CineMobile은 세 가지 최적화 전략을 채택한다: (1) 지식 증류 기반 가지치기 방식을 활용하여 영화적 효과에 필요한 핵심 비디오 생성 능력을 유지하면서도 컴팩트하고 효율적인 모델을 도출하고; (2) 디퓨전 증류와 강화학습의 조합을 통해 압축된 모델을 4단계 생성기로 최적화하며; (3) 하이브리드 사후 학습 양자화 전략을 적용하여 모델 용량을 1 GB 이하로 압축한다. 실험 결과, Wan 2.1 아키텍처의 교사 모델 대비 CineMobile은 유사한 시각적 품질을 유지하면서 생성 속도를 40배 향상시켰다. 구체적으로, CineMobile은 NVIDIA H200 GPU에서 단계당 디노이징 지연 시간 0.6초, MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 20초로 49프레임 480p 비디오를 생성하며, 최대 메모리 사용량은 1.8 GB로, 모바일 기반 이미지-투-비디오 생성의 실용적 적용 가능성을 입증한다.

arXiv:2606.25040v1cs.CV

Chorus II: 효율적인 이미지-투-비디오 생성을 위한 요청 간 희소성 재사용

Chorus II: Cross-Request Sparsity Reuse for Efficient Image-to-Video Generation

이미지-투-비디오(I2V) 생성을 위한 확산 모델 서빙은 계산 비용이 높아 대규모 배포에 상당한 도전을 제기한다. 실제 I2V 워크로드는 반복되는 효과 템플릿, 연관된 피사체, 반복되는 샷 레이아웃 등 유사한 요청을 자주 포함한다. 기존 요청 간 가속 방법은 주로 특징(feature) 재사용을 통해 이러한 중복성을 활용한다. 우리는 유사한 I2V 요청이 매우 일관된 희소(sparse) 어텐션(attention) 패턴을 공유한다는 점을 관찰하였으며, 이를 통해 과거의 희소 마스크를 온라인 마스크 예측 오버헤드 없이 요청 조건부 사전(prior)으로 활용할 수 있음을 발견하였다. 우리는 희소성(sparsity) 재사용을 핵심으로 하고, 경량화된 가이던스 강화(guidance enhancement)로 보호되는 선택적 특징 재사용을 확장으로 포함하는 요청 간 재사용 프레임워크를 제안한다. 희소성 재사용은 공유 희소 마스크 재사용으로 구현되며, 유사한 과거 요청에서 얻은 고품질 희소 마스크를 재사용하여 요청별 온라인 마스크 예측을 회피한다. 선택적 특징 재사용은 시공간적으로 높은 중복성을 가진 영역에 다운샘플링 연산을 적용하여, 효율성 향상을 유지하면서 경계 아티팩트를 완화한다. 가이던스 강화는 재사용 후 이미지/텍스트 조건화를 강화하여 의미적 드리프트 및 조건 준수 문제를 완화한다. 실험 결과, 기본 희소성 재사용 구성으로 생성 품질을 유지하면서 2.16배의 속도 향상을 달성하였다.

arXiv:2509.17773v3cs.CV

LoT-Pass: Long-term-robust Image Watermarking for Image to Video Generation

The rapid progress of image-guided video generation (I2V) has raised concerns about its potential misuse in misinformation and fraud, underscoring the urgent need for effective digital watermarking. While existing watermarking methods demonstrate robustness within a single modality, they fail to trace source images in I2V settings. To address this gap, we introduce the concept of Robust Diffusion Distance, which measures the temporal persistence of watermark signals in generated videos. Building on this, we propose I2VWM, a cross-modal watermarking framework designed to enhance watermark robustness across time. I2VWM leverages a video-simulation noise layer during training and employs an optical-flow-based alignment module during inference. Experiments on both open-source and commercial I2V models demonstrate that I2VWM significantly improves robustness while maintaining imperceptibility, establishing a new paradigm for cross-modal watermarking in the era of generative video. \href{https://github.com/MrCrims/I2VWM-Robust-Watermarking-for-Image-to-Video-Generation}{Code Released.}

arXiv:2606.24107v1cs.CV

DramaDirector: 기하학 기반 단막극 생성

DramaDirector: Geometry-Guided Short Drama Generation

단막극은 빠른 샷 리듬, 대화 중심의 초점 전환, 까다로운 촬영학적 그라운딩으로 인해 프롬프트 수준 또는 텍스트 전용 비디오 생성 파이프라인이 충족하기 어려운 과제를 제시한다. 우리는 플롯-투-단막극 생성을 연구하며, 전역 플롯과 지역 컨텍스트를 시각적으로 그라운딩된 멀티샷 비디오로 변환한다. 우리는 DramaDirector를 제안한다. 이는 기하학 기반 프레임워크로, 플래너가 깊이(depth)와 포즈(pose)로 인덱싱된 실제 단막극 샷 갤러리에서 촬영학적 기하학 정보를 차용할 수 있게 한다. DramaDirector는 각 샷을 정적 시각 조건과 동적 내러티브 조건으로 분리하고, 학습된 텍스트-시각 정렬 보상 하에서 스키마 제약 SFT 및 GRPO로 플래너를 학습시키며, 깊이-포즈 레퍼런스를 검색하여 첫 프레임 생성 및 이미지-투-비디오 합성을 안내한다. 또한 35편의 실사 드라마, 2,800개의 에피소드, 81,000개의 샷으로 구성된 벤치마크 DramaBoard를 도입하며, 구조화된 스토리보드와 다차원 평가 프로토콜을 포함한다. 실험 결과, DramaDirector는 충실도(faithfulness), 일관성(consistency), 제어 가능성(controllability) 측면에서 대표적인 멀티 에이전트 및 비디오 생성 기준선을 상회하는 성능을 보인다. 코드는 https://github.com/iLearn-Lab/DramaDirector 에서 공개되어 있다.

arXiv:2606.20891v1cs.CV

Go-with-the-Track: 포인트 추적을 통한 영상 합성 및 동작 제어

Go-with-the-Track: Video Compositing and Motion Control with Point Tracking

영화 제작은 정밀한 동작 제어와 참조 이미지 합성을 요구하지만, 기존 방법들은 이러한 능력을 각각 따로 다룹니다. 포인트 추적(point-track) 조건화 image-to-video 모델은 콘텐츠 삽입을 첫 프레임으로 제한하고, reference-to-video 모델은 참조 콘텐츠가 프레임 간에 어떻게 통합되는지에 대한 세밀한 시공간(spatial-temporal) 제어가 부족합니다. 우리는 Go-with-the-Track을 제안하는데, 이는 다중 참조 이미지와 참조에 고정된(anchor) 포인트 추적을 공동으로 조건화하여 두 능력을 통합합니다. 기존 포인트 추적을 확장하여 생성 프레임과 참조 이미지 사이의 대응 관계를 명시적으로 설정하고, 이를 통해 영상 전체에서 정밀한 합성과 동작 제어를 가능하게 합니다. 이를 위해 좌표별 MLP와 이어지는 시간적 풀링으로 포인트 추적 좌표의 전체 시퀀스를 인코딩하는 공간 인식(spatially-aware) 포인트 추적 임베딩을 도입합니다. 이 표현은 각 포인트 추적의 공간적 특성을 포착하여(고유 식별자 역할을 하며), 임베딩 유사도가 공간적 근접성과 직접적으로 상관되어 모델이 포인트 추적을 구별하고 연관시키는 능력을 향상합니다. 이러한 포인트 추적 임베딩을 경량 어댑터를 통해 영상 확산(diffusion) 트랜스포머에 주입하여 픽셀-패치 해상도 불일치를 해소하고, 단순한 포인트 추적 서브샘플링에 내재된 상당한 동작 세부 손실을 피합니다. 동적, 정적, 합성 장면 영상 데이터셋에 공동 학습하는 하이브리드 학습 전략을 사용하여 동작 제어 가능성을 높입니다. 실험 결과 Go-with-the-Track은 단일 모델에서 우수한 동작 및 참조 제어를 달성하고, 포인트 추적 기반 합성을 수반한 다중 참조 조건화 영상 생성과 정적·동적 장면 모두에서의 카메라 제어 등 새로운 기능을 가능하게 합니다. 프로젝트 페이지: https://eyeline-labs.github.io/Go-with-the-Track/

arXiv:2606.19073v1cs.CV

이미지 HOI 편집을 위한 I2V 모델 다루기: 인지 벤치마크와 에이전틱 자기 수정 프레임워크

Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework

현재 이미지 편집 방법은 정적 속성에서는 뛰어나지만 복잡한 인간-객체 상호작용(HOI)에서는 실패하며, 이는 HOI를 정적 속성과 혼동하는 기존 벤치마크가 다루지 못한 중요한 과제이다. 기존 벤치마크는 동적 상호작용의 유효성과 얽힌 인간-객체 쌍의 보존을 동시에 평가할 수 없는 전역 지표에 의존한다. 따라서 우리는 먼저 세 단계의 점진적 인지 수준을 갖춘 포괄적 벤치마크 HOI-Edit을 제안하며, 그라운딩된 인간-객체 쌍이 포함된 이미지에 대해 사고(thinking) 후 VLM Q&A를 수행함으로써 인스턴스 수준의 상호작용을 신뢰성 있게 평가하는 자동화 지표 HOI-Eval을 제공한다. 이 과제의 본질이 동적 관계의 재구성에 있음을 고려하여, 우리는 이미지-비디오(I2V) 모델을 벤치마크에 적용했고, 시간적 생성 능력 덕분에 동적 편집에 본질적으로 적합함을 확인했다. 중요한 점은, 우수한 성능을 넘어 이 능력이 "실패 과정의 재현(replay of the failure process)"을 제공하여 오류가 왜 발생하는지에 대한 독특한 진단 가능성을 제공한다는 것이다. 이에 따라 우리는 I2V 모델의 생성을 반복적으로 정제된 프롬프트를 통해 제약하여 생성된 비디오가 목표 HOI를 더 정확하게 표현하도록 하는 새로운 에이전틱 자기 수정 프레임워크 SCPE(Self-Correcting Process Editing)를 제안한다. 이러한 비디오에서 추출한 프레임이 최종 편집 결과이다. HOI-Edit에서 SCPE는 Nano Banana와 같은 최신(SOTA) 편집 모델과 상호작용 측면에서 경쟁력 있는 성능을 달성한다. 코드는 https://github.com/oceanflowlab/HOI-Edit 에서 제공된다.

arXiv:2606.06361v2cs.CV

2단계의 물리학: 시각적 정제가 모션 사전을 지우기 전에 잠금하기

Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them

이미지-비디오 변환 디퓨전 모델은 입력 이미지를 활용하여 시각적으로 놀라운 콘텐츠를 생성하지만, 종종 물리 법칙을 위반하는 모션을 생성합니다. 우리는 놀라운 사실을 발견했습니다: 동일한 모델에서 2단계 생성은 종종 50단계 출력보다 더 나은 물리적 일관성을 보입니다. 스펙트럼 분석을 통해 우리는 이것이 노이즈 제거(denoising) 중 위상(phase) 침식 때문임을 추적했습니다. 위상은 2단계에서 50단계로 갈 때 약 18% 감소하여 현저히 저하되는 반면, 크기(magnitude)는 상대적으로 안정적으로 유지됩니다. 이러한 통찰을 바탕으로, 우리는 노이즈 제거 궤적 전체에 걸쳐 소수 단계 추론(few-step inference)의 유효한 모션 사전(motion priors)을 보존하는 학습 불필요한(training-free) 프레임워크인 PhaseLock을 제안합니다. 물리적 일관성을 위해 전체 단계 추론(full-step inference)에 의존하는 대신, PhaseLock은 단 2단계에서 모션 사전을 추출하고 Latent Delta Guidance를 통해 고충실도 생성에 이를 적용합니다. 우리의 접근 방식은 위상 저하를 효과적으로 완화하여, 다양한 모델에서 물리적 일관성을 평균 6.2점 향상시키면서도 시각적 충실도를 대부분 유지합니다. 이는 무시할 수 있는 오버헤드(시간 $1.06\times$, 메모리 $1.02\times$)와 비싼 외부 가이던스 방법(시간 $\sim5\times$)에 대한 의존도 감소를 달성했습니다. 프로젝트 페이지: https://dnwjddl.github.io/phaselock

arXiv:2502.07531v5cs.CV

VidCRAFT3: 이미지-투-비디오 생성을 위한 카메라, 객체, 조명 제어

VidCRAFT3: Camera, Object, and Lighting Control for Image-to-Video Generation

제어 가능한 이미지-투-비디오(I2V) 생성은 사용자 지정 제어 신호에 의해 안내되는 참조 이미지를 일관된 비디오로 변환합니다. 고품질 생성을 위해 카메라 움직임, 객체 움직임, 조명에 대한 정밀한 제어가 필수적이지만, 기존 방법들은 이러한 요소들을 종종 독립적으로 처리합니다. 이는 동적 장면에서 시점, 기하학, 조명 간의 물리적 결합을 간과하게 하여, 동시 변화 시 일치하지 않는 그림자나 원근 드리프트와 같은 시각적 불일치를 초래합니다. 우리는 기하학, 움직임, 조명 사이의 요소 간 상호작용을 명시적으로 모델링하여 카메라 움직임, 객체 움직임, 조명 방향에 대한 독립적이고 통합적인 제어를 모두 가능하게 하는 통합적이고 유연한 I2V 프레임워크인 VidCRAFT3를 제안합니다. Image2Cloud는 정확한 카메라 움직임 제어를 위해 명시적인 3D 기하학적 사전(priors)을 제공합니다. ObjMotionNet은 희소 객체 궤적을 멀티스케일 움직임 특징으로 인코딩하여 사실적인 객체 움직임을 안내합니다. Spatial Triple-Attention 트랜스포머는 조명 크로스 어텐션(cross-attention)을 통해 조명 방향을 통합하여 일관된 재조명을 수행합니다. 통합 주석 데이터의 부족을 해결하기 위해, 우리는 정확한 프레임별 조명 방향 주석이 포함된 VideoLightingDirection (VLD) 데이터셋을 구축하고, 완전한 통합 주석 없이도 강건한 학습을 가능하게 하는 3단계 점진적 학습 전략을 도입했습니다. 광범위한 실험을 통해 VidCRAFT3가 다양한 시나리오에서 제어 정밀도와 시각적 일관성 측면에서 최첨단(SOTA) 성능을 달성함을 입증했습니다.