PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.15038v2cs.CV

비디오 = 월드(World) + 이벤트 스트림(Event Stream)

Video = World + Event Stream

Wan-Streamer v0.3을 제시한다. 이는 네이티브 스트리밍 상호작용 모델을 단일하는 조직적 관점 아래 재구성한 것으로, 비디오는 월드와 이벤트 스트림의 합이다. 월드는 비디오가 전개되는 지속적인 컨텍스트로, 환경(environment), 장면, 대상, 주변 음향 조건, 음성 특성, 기타 상대적으로 안정적인 조건을 포함한다. 이벤트 스트림은 해당 월드 내에서 시간에 따라 변하는 모든 것으로, 장면 또는 환경 변화, 대상 행동, 음성, 기타 소리를 포함한다. 이는 대규모 실제 비디오에 대한 범용 사전학습(pre-training) 과제를 만들어낸다. 월드와 들어오는 입력이 주어졌을 때, 월드가 실시간으로 어떻게 움직이고 변화하며 반응하는지 예측한다. 이렇게 얻은 역량은 광범위한 실시간 다운스트림(downstream) 과제에 특화될 수 있다. 이를 실시간 풀듀플렉스(full-duplex) 오디오-비주얼 상호작용에 구현했으며, 여기서 이벤트 스트림은 에이전트의 음성과 자유 형식 행동이다. 기능적으로 모델의 멀티모달 이해 과정은 비전-언어-행동(vision-language-action)과 유사하다. 멀티모달 사용자 입력을 언어 형식의 음성 및 행동 액션으로 매핑한다. Wan-Streamer v0.3은 v0.2 운영 지점을 유지한다. 640x368 비디오, 25 FPS, 160 ms 스트리밍 유닛, 약 200 ms 모델 측 응답 지연, 350 ms 양방향 네트워크 예산 하에서 약 550 ms 총 상호작용 지연이다.

arXiv:2607.09581v3cs.CV

Wan-Dancer: 분 단위 일관된 음악-댄스 생성을 위한 계층적 프레임워크

Wan-Dancer: A Hierarchical Framework for Minute-scale Coherent Music-to-Dance Generation

음악으로부터 장시간, 고화질, 리듬 동기화된 댄스 영상을 직접 생성하는 것은 여전히 중요한 과제로 남아 있다. 이는 주로 현재 확산 모델(diffusion model)의 시간적 제약 때문으로, 일반적으로 20초를 초과하면 성능이 저하된다. 중간 단계의 3D 스켈레톤에 의존하거나 엔드투엔드 영상 합성에 의존하는 기존 방법들은 더 긴 시간 범위로 확장할 경우 시간적 드리프트(temporal drift), 정체성 불일치, 반복적인 동작 패턴이라는 문제를 겪는다. 이러한 한계를 해결하기 위해 우리는 분 단위의 일관된 음악-댄스 생성을 위한 새로운 계층적 프레임워크를 제안한다. 우리의 방법은 전체 트랙의 음악 컨텍스트를 활용하여 장거리 일관성을 보장하고자 전역 키프레임 계획(global keyframe planning)과 지역 시간 정제(local temporal refinement)로 과정을 분리한다. 주요 혁신으로는 정밀한 정렬을 위해 시간 매핑된 RoPE 임베딩을 통한 동적 프레임 레이트 적응, 모션 연속성 향상을 위한 광학 흐름(optical flow) 기반 손실 함수, 빠른 동작 시 고충실도 세부 사항을 보존하기 위한 모션 속도 제어가 포함된다. 광범위한 실험을 통해 우리의 프레임워크가 기존의 영상 길이 한계를 뛰어넘어 1분을 초과하는 안정적인 720p/30fps 영상을 우수한 시간적 안정성으로 생성함을 입증한다. 또한, 이 모델은 오디오와 텍스트 프롬프트 모두를 조건으로 다섯 가지 서로 다른 댄스 장르에 걸쳐 강건한 범용성을 보이며, 일관된 장편 댄스 영상 합성에서 새로운 최첨단 성능을 확립한다.

arXiv:2511.19356v4cs.CV

Video GRPO의 보상 신호 재고: 점수가 목표가 될 때

Rethinking Reward Signals in Video GRPO: When Scores Become Targets

Group Relative Policy Optimization (GRPO)는 그룹별 비교를 통해 비디오 생성 사후 학습에서 안정적이고 선호 지향적인 업데이트를 가능하게 한다. 그러나 GRPO는 보상으로 유도된 advantage를 직접 최적화한다. 지속적인 최적화 하에서 보상 점수는 실제 비디오 품질의 대리 지표로서의 충실도를 잃을 수 있으며, 이는 Goodhart의 법칙(Goodhart's Law)으로 설명되는 현상과 일치한다. 이는 두 가지 반복되는 문제를 야기한다: (i) 복합 목표 하에서의 지름길 기반 최적화, (ii) 프롬프트 그룹 내 보상 포화. 이를 해결하기 위해, 비디오 생성 GRPO를 위한 Target-Robust Reward Signaling 프레임워크인 TaRoS를 제안한다. TaRoS는 구성 요소 수준의 성능 평가와 그룹 내 희소성을 함께 활용하여 다면적 보상을 최적화 목표에 맞게 구성한다. 또한 포화를 보이는 구성 요소의 가중치를 적응적으로 낮춰, 효과적인 최적화 방향을 유지하고 중복을 완화한다. 이는 의미 있는 최적화 방향을 유지하고 그룹 내 순위 분리를 보존하여, 보상 해킹(reward hacking)을 방지하고 더 신뢰할 수 있는 정책 업데이트로 이어진다. 광범위한 실험은 강력한 베이스라인 대비 시각적 충실도, 움직임 일관성, 텍스트-비디오 정렬에서 일관된 개선을 보여준다.

arXiv:2607.14187v1cs.AI

RxBrain: 언어-시각 추론 및 상상을 결합한 구현 인지 기반 모델

RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination

구현 인지(embodied cognition)는 에이전트(agent)가 고수준 작업 추론을 달성해야 할 물리적 상태와 연결하는 것을 요구한다. 우리는 언어-시각 추론 및 상상을 결합한 구현 인지 기반 모델인 Hy-Embodied-RxBrain을 소개한다. 장면 이해와 텍스트 기반 의사결정을 강조하는 비전-언어(vision-language) 모델이나, 주로 미래 시각 상태를 예측하는 생성형 월드 모델과 달리, RxBrain은 언어와 시각적 상상이 상호 보완적 역할을 하는 단일 계획 시퀀스에서 구현 계획을 표현한다. 언어는 작업 분해, 계획 원시 요소, 제약, 시간적 순서, 의사결정 논리를 포함한 계획의 추상적 구조를 제공하고, 시각적 상상은 월드 상태 예측과 결합된 하위목표 계획을 통해 이 구조를 그라운딩(grounding)하며, 각 계획 단계를 중간 및 최종 물리적 상태와 연관 짓는다. RxBrain은 하나의 모델 내에서 언어, 이미지, 비디오 이해 및 생성을 지원하는 통합 멀티모달 Mixture-of-Transformers 아키텍처를 채택한다. 이 능력을 학습(training)하기 위해, 우리는 구현 비디오를 계획 단계로 분해하고 시각적 상태 전이와 정렬하여 결합된 텍스트-시각 계획 지도(supervision)로 변환하는 자동 파이프라인을 구축한다. 또한 RxBrain-Bench를 도입하여, 모델이 분리된 이해 또는 생성이 아니라 결합된 텍스트 및 시각 구성요소를 통해 구현 계획을 표현할 수 있는지 평가한다. 실험 결과, RxBrain은 구현 이해 및 생성 능력을 유지하고, 결합된 텍스트 추론, 월드 상태 예측, 결합된 하위목표 계획을 갖춘 계획을 생성하는 것으로 나타난다. 또한 RxBrain을 연속 로봇 동작 생성으로 확장했으며, 대규모 동작 데이터 사전학습(pre-training) 없이도 유망한 실제 로봇 성능을 보인다. 이러한 결과는 구현 인지를 위한 기반 모델(foundation models)로 나아가는 초기 단계를 제공한다.

arXiv:2607.15278v1cs.CV

다단계 시각 추론을 위한 계층적 디노이징

Hierarchical Denoising For Multi-Step Visual Reasoning

비디오 모델은 비전 파운데이션 모델(vision foundation models)로 발전하고 있지만, 여전히 인간과 같은 다단계 추론이 부족하다. 스트리밍 자기회귀(autoregressive) 확산(diffusion) 모델은 효율적이지만 추론에 한계가 있으며, 양방향(bidirectional) 확산은 프레임 단위의 밀집적 디노이징으로 인해 높은 추론 비용으로 전역적 수정(global revision)을 가능하게 한다. 두 패러다임 모두 복잡한 추론 작업에서 논리적 일관성과 저지연 스트리밍을 동시에 달성하는 데 어려움을 겪는다. 우리는 다단계 추론을 위해 계층적 잠재 표현(hierarchical latents)을 인과적(causal) 비디오 생성에 통합하는 통합 프레임워크인 HDR(Hierarchical Denoising for Visual Reasoning)을 제안한다. HDR은 비디오 잠재 표현을 트리 구조 계층으로 구성하여, 스트리밍 출력 전에 거친 수준에서 세밀한 수준으로의(coarse-to-fine) 추론을 가능하게 한다. 거친 디노이징 계층은 전역 계획을 위해 불확실한 가설을 보존하고, 더 세밀한 계층은 이를 점진적으로 구체적인 시각 상태로 정제한다. 희소 계층적 어텐션 패턴(SHAP)은 시간적 어텐션 비용을 추가로 줄인다. 우리는 분포 외(out-of-distribution) 사례를 포함한 계층별 다단계 비디오 추론 벤치마크를 도입하며, 미로 탐색, 하노이탑, 한 줄 그리기, 슬라이딩 퍼즐, Sokoban, 물 붓기 등 여섯 가지 작업을 다룬다. 스트리밍 자기회귀 확산 기준선과 비교하여, HDR은 성공률을 34.22에서 60.29로 향상시키고(상대 76.2% 개선), 평균 진행률을 76.00에서 89.56으로 높여, 더 일관된 추론 궤적을 보여준다. HDR은 잠재(latent)당 0.70초의 저지연 스트리밍을 유지하며, 양방향 확산 대비 54.2배 빠른 추론을 달성한다. 또한 전체 데이터 학습 대비 2%의 학습(training) 데이터만으로 82.9%의 성능을 유지하는 반면, 양방향 확산은 52.0%에 그친다. 실세계 로봇 실험은 물리적 상호작용과 월드 모델링(world modeling)에서 HDR의 잠재력을 추가로 입증한다. 프로젝트 데모: https://hierarchical-diffusion-reasoning.github.io/.

arXiv:2607.14976v1cs.CV

드래프트에서 드래프트 없음으로: 특권 증류와 빠른 플랜팅을 통한 1-스텝 영상 객체 제거

From Draft to Draft-Free: One-Step Video Object Removal via Privileged Distillation and Fast Planting

영상 객체 제거는 영상 편집에서 근본적이면서도 어려운 과제이다. 최근 진전에도 불구하고, 기존 방법들은 일반적으로 두 범주로 나뉜다. 광학 흐름(optical flow)이나 어텐션 메커니즘에 기반한 전통적 접근법은 종종 눈에 띄는 아티팩트를 유발하고 부자연스러운 결과를 낳는다. 반면, 확산 기반 방법은 시각적 사실성을 향상시키지만 여러 디노이징 단계를 요구하여 실용성을 제한한다. 이러한 문제를 해결하기 위해, 우리는 거친 드래프트를 정제된 영상으로 변환하는 능력을 1-스텝 영상 생성 모델로 증류하는 프레임워크인 From-Draft-to-Draft-Free(D2DF)를 제안한다. D2DF 내에서 교사 모델은 여러 단계를 통해 저품질 제거 결과("드래프트")를 고화질 영상으로 정제하도록 학습된다. 그런 다음 Prior-Privileged Consistency Distillation(PPCD)을 통해 이 능력을 드래프트를 조건으로 1-스텝 제거를 수행하는 학생 모델로 증류한다. 드래프트 의존성을 제거하기 위해, 우리는 Temporal Masked 트랜스포머 기반의 Self-Guided Fast Planting(SGFP) 모듈을 도입하여 잠재 공간에서 장면 일관성을 유지하는 pseudo-draft를 자율적으로 생성함으로써 완전히 드래프트 없는 1-스텝 모델을 가능하게 한다. 광범위한 실험 결과, 드래프트 조건부 및 드래프트 없는 버전 모두 여러 지표에서 최첨단 성능을 달성하여, 품질과 효율성 모두에서 전통적 방법 및 다단계 생성형 방법을 능가함을 보여준다. 단일 영상에 대한 디노이징 과정은 약 1초만 소요된다.

arXiv:2607.14898v1cs.CV

FlashDecoder: 트랜스포머 기반 실시간 잠재-픽셀 스트리밍 디코더

FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers

실시간 영상 생성은 빠른 디노이징만큼이나 빠른 디코딩을 요구하지만, 현재의 잠재 공간 영상 확산 모델은 3D 컨볼루션 디코더에 의존하며 고해상도나 긴 영상에서 느리고 메모리 사용량이 큽니다. 본 논문은 FlashDecoder를 제안합니다. 이는 잠재 표현을 프레임 단위로 픽셀로 디코딩하는 빠르고 메모리 효율적인 순수 트랜스포머 영상 디코더입니다. 각 단계에서 현재 프레임은 rolling KV cache를 통해 과거 프레임의 고정 크기 윈도우에만 어텐션합니다. 고정된 시간적 윈도우는 영상 길이와 관계없이 디코딩을 빠르게 유지하고 메모리를 제한하여 일정한 지연 시간의 스트리밍을 가능하게 합니다. 프레임이 순차적으로 처리되므로 명시적 어텐션 마스크 없이 시간적 인과관계가 강제되며, 최대 1080p 해상도에서 학습이 가능하고 컨볼루션 디코더의 재구성 품질과 동등합니다. Wan2.1 및 Wan2.2 잠재 공간에서 FlashDecoder는 재구성 품질 면에서 각 컨볼루션 디코더와 동등합니다(예: 1080p에서 PSNR 41.55dB vs. 41.49dB). 단일 H100 GPU에서 3.6~4.7배 빠르게 디코딩하면서 최대 11배 적은 메모리를 사용합니다. 아키텍처 인식 추론 최적화를 적용하면 속도 향상 폭은 12배까지 확대됩니다.

arXiv:2607.14681v1cs.CV

ReBind: 명시적 참조 관계를 갖춘 구조화된 지시를 통한 다중 참조 비디오 편집

ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships

최근 확산(diffusion) 기반 비디오 생성 모델은 다중 참조 이미지 조건부 비디오 편집에서 상당한 진전을 이뤘다. 그러나 기존 방법들은 여전히 여러 시각적 소스의 정보를 정확하게 조율하는 데 어려움을 겪는다. 우리는 기존 접근법의 중요한 결함을 확인한다. 기존 편집 지시는 명시적 참조 관계가 부족하며, 대부분의 멀티모달 대규모 언어 모델(MLLM)은 이를 신뢰성 있게 생성할 수 없다. 이 문제를 해결하기 위해, 우리는 다중 참조 이미지 조건부 비디오 편집을 위한 중간 표현으로 참조 토큰이 내장된 의미론적 지시를 도입하는 체계적 프레임워크인 ReBind를 제안한다. 우리의 핵심 통찰은 의미론적 위치에 참조 토큰을 임베딩하여 모호성을 제거하고 시각적 속성과 그 출처 간의 정확한 바인딩(binding)을 확립하는 것이다. 우리는 정확한 참조 관계를 위해 2단계 점진적 방식을 통해 시각적 속성과 참조 소스 간의 명시적 바인딩을 학습하는 특화 MLLM인 ReBind-Instruct를 개발한다. 또한 우리는 지정된 소스에 시각적 속성을 바인딩함으로써 텍스트-투-비디오(text-to-video) 모델을 경량으로 적응시켜 여러 참조를 조율할 수 있게 하는 ReBind-Edit를 개발한다. 광범위한 실험은 ReBind가 지시 품질에서 범용 MLLM을 크게 능가하며, 참조 이미지 조건부 비디오 편집에서 오픈소스 방법 중 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 프로젝트 웹페이지: https://rebind-mrv2v.github.io/.

arXiv:2607.14521v1cs.CV

Uni-AdaVD: 직교 값 분해를 통한 시각 생성 범용 개념 소거

Uni-AdaVD: Universal Concept Erasure for Visual Generation via Orthogonal Value Decomposition

시각 생성 모델은 정제되지 않은 사전학습(pre-training) 데이터로부터 바람직하지 않은 개념을 불가피하게 흡수하므로, 안전한 배포를 위해 개념 소거가 필수적이다. 그러나 기존 소거 방법은 종종 아키텍처에 특화되어 있으며, 비대상 콘텐츠와 생성 사전지식(generative priors)을 보존하면서 대상 개념을 제거하는 데 어려움을 겪는다. 우리는 시각 생성을 위한 범용 추론(inference) 시점 개념 소거 프레임워크인 Uni-AdaVD를 제안한다. Uni-AdaVD는 멀티모달 어텐션(attention)의 값 공간을 통합 개입 공간으로 취급하고, 이질적인 텍스트 인코더 전반에 걸쳐 대상 의미를 국소화하기 위해 인코더 인지(encoder-aware) 대상 표현 구성을 도입한다. 또한 원본 모델(model) 가중치를 갱신하지 않고 대상 의미 방향을 억제하기 위해 직교 값 분해를 적응형 소거 시프트(adaptive erasing shift)와 결합한다. U-Net, DiT, 자기회귀(autoregressive) 이미지 생성기와 텍스트-비디오 모델에 대한 광범위한 실험은 비대상 사전지식을 보존하면서 단일 및 다중 개념 소거에서 강력한 성능을 보여준다. 이 결과는 Uni-AdaVD가 현대 시각 생성 모델을 위한 효율적이고 적응 가능한 안전성(safety) 메커니즘을 제공함을 시사한다. 코드는 https://github.com/QifanZhou/Uni-AdaVD 에서 제공된다.

arXiv:2607.14202v1cs.CV

KeyFrame-Compass: 키프레임 조건 비디오 생성의 포괄적 평가를 향하여

KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation

비디오 생성은 점점 더 생성을 안내하기 위해 일련의 참조 이미지를 지정하는 키프레임 기반 워크플로에 의존하고 있다. 최근 모델들은 다중 키프레임 조건화(multi-keyframe conditioning)를 지원하지만, 전체적인 비디오 품질을 유지하면서 지정된 키프레임을 충실히 재현할 수 있는지는 여전히 불분명하다. 우리는 키프레임 조건 비디오 생성을 평가하기 위한 최초의 포괄적 벤치마크인 KeyFrame-Compass를 제안한다. 이 벤치마크는 3개의 응용 분야, 2가지 비디오 구조, 2가지 프롬프트 세분성, 2가지 조건화 형식, 4가지 키프레임 밀도에 걸친 386개의 엄선된 샘플을 포함하여, 다양한 생성 설정에서 통제된 분석을 가능하게 한다. 또한 키프레임 실행과 전체 비디오 품질을 함께 측정하는 자동화 평가 프레임워크를 도입한다. 구체적으로, 키프레임 실행을 존재(presence), 충실도(fidelity), 시간적 순서(temporal ordering), 위치 지정(localization), 지속성(persistence), 고유성(uniqueness)을 포괄하는 여섯 가지 상보적 지표로 분해하고, 전문화된 인식 모델로 보강된 근거 기반(evidence-grounded) 다중모달 대규모 언어 모델(MLLM) 판단을 통해 전체 비디오 품질을 평가한다. 9개의 대표적인 비디오 생성 시스템에 대한 실험은 여러 근본적 한계를 밝혀낸다. 현재 모델들은 키프레임의 충실한 실행과 자연스러운 비디오 합성 사이에 뚜렷한 트레이드오프를 보인다. 키프레임 제약이 더 밀집해질수록 성능은 더욱 저하되며, 대부분의 오픈소스 모델은 스토리보드 그리드(storyboard-grid) 입력을 시간 순서가 정해진 키프레임 시퀀스로 해석하는 데도 실패한다.

arXiv:2607.14194v1cs.CV

텍스트-투-비디오 모델을 위한 추론 시점 개념 억제 및 비디오 중심 평가

Inference-Time Concept Suppression and Video-Centric Evaluation for Text-to-Video Models

텍스트-투-비디오(T2V) 생성기는 사실적이고 시간적으로 일관된 비디오를 합성할 수 있지만, 생성기에서 대상 개념을 통제 가능하게 제거하는 것은 여전히 어렵다. 텍스트-투-이미지 개념 삭제(concept erasure)와 달리, T2V 언러닝(unlearning)은 프레임 전반에 걸쳐 지속될 수 있는 대상 개념을 억제하면서 비대상 피사체, 동작, 장면, 시간적 구조를 보존해야 한다. 우리는 개념 수준 T2V 언러닝을 위한 학습 없이(training-free) 추론 시점(inference-time) 프레임워크인 SIRUS를 제안한다. 대상 개념의 텍스트 별칭(textual aliases)이 주어지면, SIRUS는 대상 관련 프롬프트(prompt) 증거를 국소화하고 텍스트 인코더나 디노이징 네트워크를 갱신하지 않고 샘플링 중 대상 표현을 억제한다. 또한 T2V 언러닝을 위한 비디오 지향 평가 프레임워크를 도입하여, 비디오 수준 실패 기준, 프레임 수준 잔여(residue) 통계, 쌍(pair) 보존 분석, VBench 기반 품질 진단, 배포 오버헤드 측정을 통해 대상 망각(forgetting), 비대상 보존, 비디오 품질, jailbreak 견고성, 효율성을 각각 측정한다. CogVideoX에서 안전성, 객체, 스타일 개념 다섯 가지에 대해 SIRUS는 평균 망각 성공률 70.4%, 평균 프레임 적중률 25.7%를 달성하는 반면, VideoEraser는 44.4% / 47.2%이며, 평균 VBench 품질 하락을 -0.043에서 -0.016으로 줄여 완전히 평가된 베이스라인 중 가장 강한 망각-품질 트레이드오프를 제공한다. Wan2.2에 대한 전이(transfer) 실험은 SIRUS가 현대 T2V 백본(backbone) 전반에서 일반화됨을 추가로 시사한다.

arXiv:2607.14189v1cs.CV

MultiRef-Compass: 다중 참조 오디오-비디오 생성의 포괄적 평가를 향하여

MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

다중 참조-오디오-비디오(MR2AV) 생성은 여러 참조와 텍스트 지시에 조건화하여 일관된 오디오-비디오 콘텐츠를 생성하는 것을 목표로 한다. 기존 벤치마크는 주로 텍스트 기반 생성, 단일 참조 주체 보존, 또는 분리된 오디오-비디오 정렬에 초점을 맞추어, 떠오르는 MR2AV 설정은 대체로 탐색되지 않은 상태로 남아 있다. 이러한 설정과 비교할 때, MR2AV는 모델이 동기화된 시각 및 오디오 콘텐츠를 생성하면서 여러 참조에 대해 공동으로 추론해야 한다. 모델은 각 참조를 충실히 보존할 뿐만 아니라, 여러 참조된 개체를 올바르게 바인딩하고 구성하여 일관된 시청각 이벤트로 만들어야 한다. 이 공백을 해소하기 위해, 우리는 MR2AV 생성을 위한 통합 벤치마크인 MultiRef-Compass를 소개한다. 이는 확장 가능하고 제어 가능한 자산 구성 파이프라인을 통해 구축된 350개의 신중하게 선별된 샘플로 구성되며, 다중 시점 주체 보존, 다중 개체 바인딩, 인간-객체-장면 구성을 다룬다. 해석 가능한 평가를 제공하기 위해, MultiRef-Compass는 기본 품질(Basic Quality), 참조 일관성(Reference Consistency), 오디오-비주얼 일관성(Audio-Visual Consistency), 지시 따르기(Instruction Following)의 네 가지 차원으로 14개 하위 지표를 사용하는 평가 프로토콜을 정의한다. MultiRef-Compass는 재판정 강화 MLLM-as-a-Judge 프레임워크와 자동 지표를 통합하여, 지각적 충실도와 참조 조건 구성 모두에 대한 확장 가능하고 감사 가능한 평가를 가능하게 한다. 8개의 대표적인 MR2AV 시스템에 대한 광범위한 실험은 여러 평가 차원에서 상당한 개선 여지가 있음을 밝혀, 포괄적 벤치마크의 필요성을 강조하고 MultiRef-Compass를 향후 MR2AV 연구의 기반으로 자리매김한다.

arXiv:2607.12358v2cs.CV

ACID: 비디오 생성을 위한 적응형 캐싱

ACID: Adaptive Caching for vIDeo generation

비디오 디퓨전 모델은 고품질 생성물을 만들지만, 순차적 디노이징 절차 때문에 추론이 여전히 느립니다. 캐싱 기반 가속 방법은 중간 모델 출력을 재사용하여 이 문제를 해결합니다. TeaCache, EasyCache, DiCache와 같은 주요 동적 접근법들은 drift 신호를 누적하고, 누적 drift가 고정 임계값 $τ$ 이하일 때 값비싼 모델 평가를 건너뜁니다. 이 임계값은 겉보기 tradeoff를 조절합니다. 임계값을 높이면 시각적 품질을 희생하고 더 빠른 생성이 가능해지며, 낮추면 품질은 유지되지만 속도가 희생됩니다. 우리는 이 tradeoff가 근본적인 것이 아님을 보입니다. 이는 디노이징 전 과정에서 $τ$를 일정하게 유지하는 데서 비롯된 인공적 현상입니다. 우리는 critical step, 즉 drift 신호가 급격히 변하는 타임스텝의 존재를 확인하고, 이러한 단계에서만 낮은 임계값을 선택적으로 적용하면서 다른 구간에서는 적극적으로 캐싱할 경우, 훨씬 높은 추론 속도에서 보수적 캐싱의 품질 대부분을 회복할 수 있음을 보입니다. 이 통찰을 바탕으로, 우리는 ACID를 제안합니다. ACID는 경량의 학습 없는(training-free) 래퍼로, 각 방법의 기존 drift 신호 변화율을 모니터링하여 낮은 임계값과 높은 임계값 사이를 동적으로 전환합니다. ACID는 신호에 무관(signal-agnostic)하고 모듈식입니다. 재학습이 필요 없으며, 핵심 메커니즘을 수정하지 않고 기존 동적 캐싱 방법에 바로 연결됩니다. TeaCache, EasyCache, DiCache 세 가지 캐싱 방법과 HunyuanVideo, Wan 2.1, CogVideoX 세 가지 오픈소스 비디오 디퓨전 모델에서 평가한 결과, ACID는 고정 임계값으로 달성할 수 있는 수준을 넘어 시각적 품질 대 추론 속도의 파레토 프론티어를 지속적으로 확장합니다. 특히 TeaCache와 HunyuanVideo에서 ACID는 캐싱 없음 기준선 대비 최대 2.16배 속도 향상을 달성하며, 보수적 고정 임계값 기준선 대비 최대 38% 추가 속도 향상을 달성하면서 품질 저하는 미미합니다(<0.3 dB PSNR, <0.01 SSIM, <0.01 LPIPS).

arXiv:2607.08639v2cs.RO

일반화 가능한 로봇 제어를 위한 네이티브 비디오-액션 사전학습

Native Video-Action Pretraining for Generalizable Robot Control

LingBot-VA 2.0은 디지털 콘텐츠용 비디오 생성 모델을 로봇 제어에 전용하는 방식의 한계를 극복하기 위해, 시맨틱 시각-액션 토크나이저와 인과적 DiT(Diffusion Transformer)를 처음부터 사전학습하는 네이티브 비디오-액션 파운데이션 모델이다. 희소 전문가 혼합(MoE) 백본과 비동기 추론 기반의 Foresight Reasoning을 통해 실시간 폐루프 제어(최대 225 Hz)를 실현하며, 복잡한 조작 작업에서 10~15개의 데모만으로 퓨샷 일반화 성능을 입증했다.

arXiv:2511.22098v2cs.CV

WorldWander: 비디오 생성에서 자아 중심·타인 중심 세계 연결

WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation

최근 비디오 월드 모델의 발전으로 자유 내비게이션이 가능한 대화형 환경이 구현되면서, 1인칭(자아 중심, egocentric)과 3인칭(타인 중심, exocentric) 시점 간 변환의 중요성이 점점 커지고 있다. 그러나 기존 연구는 단방향 타인 중심→자아 중심 변환에 초점을 맞춰, 참조 기반 타인 중심 시점 합성을 간과해 왔다. 이 능력은 게임과 체화 AI(embodied AI) 응용에서 매우 중요하다. 이에 영감을 받아, 우리는 비디오 생성에서 자아 중심 세계와 타인 중심 세계 간 변환을 위해 설계된 문맥 내 학습(ICL) 프레임워크 WorldWander를 제안한다. 고급 비디오 diffusion transformer를 기반으로, WorldWander는 (i) In-Context Perspective Alignment와 (ii) Collaborative Position Encoding을 통합하여 교차 시점 동기화와 캐릭터 일관성을 모델링한다. 이를 위해 우리는 합성 및 실세계 시나리오 모두에서 동기화된 자아 중심-타인 중심 triplet을 포함하는 동적이고 장면이 풍부한 데이터셋 EgoExo-8K를 구축했다. 실험 결과 WorldWander가 우수한 시점 동기화, 캐릭터 일관성 및 일반화를 달성하여, 자아 중심-타인 중심 비디오 변환의 새로운 벤치마크를 수립함을 보여준다.

arXiv:2607.13164v1cs.CL

Text2Sign: 텍스트-수화언어 비디오 생성을 위한 단일 GPU 디퓨전 기준선

Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation

수화언어는 수백만 명의 농인(Deaf) 및 난청인(hard-of-hearing)을 위한 주요 의사소통 수단이지만, 비디오 디퓨전 모델의 학습과 평가 비용이 높아 텍스트-수화자(text-to-signer) 비디오 생성은 여전히 비용이 많이 든다. 본 논문은 단일 NVIDIA L4 GPU에서 실행되는 짧은 수화 클립용 텍스트 조건부 디퓨전 모델인 Text2Sign을 제안한다. 동결(frozen)된 비전-언어(vision-language) 텍스트 인코더와 3D 인코더-디코더, 그리고 분해(factorized) 시공간(spatiotemporal) 어텐션을 결합하여 전체 비디오 어텐션의 비용을 줄이면서 동작 일관성(motion coherence)을 유지한다. 합성곱 전용 및 트랜스포머 스타일 백본, 동결된 사전학습 및 과제별 텍스트 인코더, 분해 어텐션 대 전체(full) 어텐션을 비교한다. 수화자 비중복(signer-disjoint) How2Sign 분할에서, 최고의 단기 실행 ablation은 검증 손실 0.0648에 도달하고, 장기 실행 체크포인트는 0.00999에 도달한다. 간소화된 평가 슬라이스에서, 후자는 guidance scale 5.0의 8단계 DDIM 샘플링을 사용하여 SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ dB, 시간적 일관성 $1.0000 \pm 0.0000$을 달성한다. 32프레임, $64 \times 64$ 클립을 12.60초, 즉 초당 2.54프레임으로 생성하며, 추론 메모리 피크는 3.12 GB이다. 홀드아웃(held-out) 디노이징 감사(audit)는 프롬프트 민감도가 약함을 보여준다: 텍스트를 제거하면 후기 타임스텝(late-timestep) 손실이 0.9875에서 0.9891로 증가하는 반면, 섞인(shuffled) 프롬프트는 올바른 프롬프트와 유사한 성능을 보인다. 따라서 동결된 텍스트 조건화는 짧은 예산의 검증 손실을 개선하지만, 프롬프트별 분리는 여전히 제한적이다. 이 시스템은 저해상도의 짧은 클립에 한정되며 전문 언어학적 평가가 부족하므로, 완전한 수화언어 프로덕션 시스템이라기보다 단일 GPU 연구 기준선으로 보아야 한다. 코드는 https://github.com/xiaruize0911/text2sign 에서 이용할 수 있다.

arXiv:2607.14088v1cs.CV

VideoRAE: 표현 오토인코더를 통한 생성 모델링을 위한 비디오 파운데이션 모델 활용

VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders

비디오 생성 모델은 일반적으로 3D 변분 오토인코더(3D-VAE)가 학습한 잠재 공간에 의존한다. 그러나 기존 3D-VAE는 주로 픽셀 수준 재구성을 위해 최적화되므로, 잠재 표현이 포착하는 의미적·시공간적 구조가 제한될 수 있다. 한편 V-JEPA 2, VideoMAEv2와 같은 비디오 파운데이션 모델(VFM)은 강력한 비디오 이해 능력을 보이지만, 동결(frozen)된 표현을 압축적이면서 재구성 가능하고 생성에 유리한 비디오 잠재 표현으로 변환할 수 있는지는 대부분 탐구되지 않았다. 우리는 VideoRAE로 이 질문에 답한다. VideoRAE는 동결된 비디오 파운데이션 인코더의 다중 스케일 계층적 특징을 활용하고, 경량 1D 셀프 어텐션(self-attention) 프로젝터로 이를 압축하는 representation autoencoder이다. VideoRAE는 다중 코드북 고차원 양자화를 통해 Diffusion Transformer용 연속 잠재 표현과 자기회귀(autoregressive) 모델용 이산 토큰을 모두 지원한다. 디코딩 과정에서 동결된 VFM teacher와의 국소·전역 표현 정렬(alignment) 목표가 의미 보존을 개선하고 KL 정규화 없이 학습할 수 있게 한다. 실험 결과 VideoRAE는 연속·이산 양쪽 체계에서 강력한 재구성 성능을 달성한다. UCF-101에서 AR 및 DiT 생성기 각각으로 SOTA class-to-video gFVD 40과 93을 기록하며, 경쟁 오토인코더 baseline 대비 약 5배 빠르게 수렴한다. 통제된 20억(2B) 규모 text-to-video 연구에서 LTX-VAE를 VideoRAE로 교체하면 유사한 설정에서 더 빠른 수렴을 보인다. 이 결과는 동결 VFM 표현이 다재다능하고 생성에 유리한 비디오 잠재 표현임을 검증한다. 모델과 코드는 https://zhxie0117.github.io/VideoRAE 에 공개될 예정이다.

arXiv:2607.14076v1cs.CV

픽셀에서 상태로: 상호작용 세계 모델을 게임 엔진으로 재고하기

From Pixels to States: Rethinking Interactive World Models as Game Engines

플레이어 행동에 일관되게 반응하는 상호작용형 세계를 구축하는 것은 오랫동안 컴퓨터 그래픽스, 게임, 인공지능의 공통 목표였다. 최근 비디오 생성 모델은 사용자 행동을 조건으로 미래 관측을 예측함으로써 이 목표를 향한 데이터 기반 경로를 제공하며, 차세대 게임 엔진의 잠재적 후보로 점점 더 주목받고 있다. 그러나 진정한 상호작용형 게임 세계를 실현하려면 변화하는 게임 조건에 따라 규칙을 따르는 상호작용 결과, 장기간 지속되는 결과, 그리고 실시간으로 작동하는 생성 루프가 필요하다. 기존 게임 엔진은 반복적인 행동-상태-관측(action-state-observation) 루프를 통해 이러한 특성을 구현하는데, 이 루프에서 플레이어 행동은 사전 정의된 규칙에 따라 명시적 게임 상태를 갱신하고, 관측은 그 결과 상태로부터 렌더링된다. 이 논문은 이 루프를 조직화 렌즈로 삼아, 플레이어 행동 제어, 게임 상태 역학, 상태-관측 지속성, 실시간 상호작용 생성이라는 네 가지 차원을 따라 상호작용형 게임 세계 모델링을 검토한다. 각 차원에 대해 상호작용형 게임 세계에 요구되는 역량에서 출발하여 기존 접근법을 대표적 계열로 묶고, 각 계열의 강점과 트레이드오프를 논의한다. 이 분석을 보완하기 위해, 상태 인식(state-aware) 게임 세계 모델링을 위한 자원으로 Black Myth: Wukong용 확장 가능한 데이터 엔진을 제시하며, 이 엔진은 프레임 정렬된 플레이어 행동, ground-truth 게임 상태, 시각적 관측과 함께 구조적·의미적 주석을 포함한 90시간 이상의 게임플레이를 수집한다. 우리는 이 논문이 해당 분야의 현재 위치에 대한 명확한 그림을 제공하고 상호작용형 게임 세계를 향한 진전을 촉진하기를 기대한다.

arXiv:2607.14005v1cs.CV

M$^\text{4}$World: 상호작용형 객체 조작 및 분 단위 스트리밍을 위한 멀티뷰 멀티모달 주행 월드 모델

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

주행 월드 생성은 확장 가능한 자율주행 시뮬레이션의 핵심 역량으로 부상했지만, 기존 방법들은 객체 수준의 제어 가능성과 장기 안정성에서 여전히 제한적이다. 우리는 M$^\text{4}$World를 제안한다. 이는 미래의 surround-view 영상 스트림과 동기화된 LiDAR 스캔을 합성하면서 상호작용형 객체 조작과 안정적인 분 단위 스트리밍을 지원하는 멀티뷰·멀티모달 생성형 주행 월드 모델이다. 세밀한 객체 조작은 개별 객체의 공간적 배치와 시각적 외관 모두에 대한 명시적 제어를 지원하는 유연한 conditioning 인터페이스를 통해 구현된다. 한편 안정적인 분 단위 스트리밍은 확장된 rollout 동안 일관된 월드 역학을 유지하면서 단 4개의 denoising 단계만으로 온라인 인과(causal) 생성을 가능하게 하는 다단계 학습 프레임워크를 통해 달성된다. 이러한 구성 요소를 바탕으로, 우리는 효율적인 few-clip 사후 학습과 시각적 참조 조건화 생성 모델 모음을 도입하여, 일반 생성 능력을 유지하면서 장꼬리(long-tail) 제어 가능성을 위한 희귀 사례 맞춤화를 가능하게 한다. 제어 가능성을 사실성(realism)을 넘어 평가하기 위해, 우리는 장면 수준의 조건 준수, 시점별 객체 제어 가능성, 시점 간 객체 일관성을 평가하는 VLM 기반 자동 판별 파이프라인을 추가로 도입한다. 포괄적인 실험 결과, M$^\text{4}$World는 높은 생성 품질, 정밀한 제어 가능성, 안정적인 분 단위 스트리밍을 일관되게 제공함을 보여준다. 하위 장꼬리 증강과 장면 편집과 함께, 이러한 결과는 제어 가능하고 확장 가능한 주행 시뮬레이션을 위한 M$^\text{4}$World의 잠재력을 입증한다.

arXiv:2607.13927v1cs.CV

Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델

Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data

다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.