PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24367v1cs.CV

TReViS: 자기지도 반복 동작 계수를 위한 시간적 반복 구조 인식 비디오 합성

TReViS: Temporal Repetition Structure Aware Video Synthesis for Self-supervised Repetitive Action Counting

완전 지도 방식의 반복 동작 계수(Repetitive Action Counting, RAC)는 뛰어난 성능을 달성했지만, 비용이 많이 들고 확장이 어려운 조밀한 시간적 주석(annotation)을 필요로 한다. 우리는 반복 레이블 없이 RAC 모델을 학습시킬 수 있는 자기지도(self-supervised) 비디오 합성 프레임워크인 TReViS를 제안한다. TReViS는 레이블이 없는 비디오의 근본적인 시간적 반복 구조를 시간적 자기 유사도 행렬(Temporal Self-Similarity Matrix)을 통해 추정하고, 그 주기 통계를 추론한 뒤, 현실적인 반복 패턴을 보존하면서도 통제된 시간적 변동성을 도입한 새로운 학습 시퀀스를 합성한다. 이렇게 합성된 비디오는 의사 레이블(pseudo-label)과 짝을 이루어 기존 RAC 아키텍처를 처음부터 학습시키는 데 사용된다. 여러 데이터셋과 백본(backbone)에 걸쳐, TReViS는 기존의 자기지도 방법들을 일관되게 능가하며 완전히 레이블 없이도 여러 지도 학습 기준선(baseline)과 견줄 만한 성능을 달성함으로써, 레이블 없는 RAC를 위한 구조 인식 비디오 합성의 효과를 입증한다. 소스 코드는 https://github.com/yfqi/TReViS 에서 확인할 수 있다.

arXiv:2609.24313v1cs.CV

NeuIDO: 물리 정보 기반 4D 월드 모델을 위한 신경 내재 역학 연산자

NeuIDO: Neural Intrinsic Dynamics Operator for Physics-Informed 4D World Models

월드 모델은 환경 역학을 포착하고 미래 궤적을 예측하는 것을 목표로 하며, 체화 지능(embodied intelligence)에 대한 잠재력이 커지고 있다. 물리 정보 기반 4D 생성은 물리 시뮬레이션을 통합하여 3D 객체 상호작용을 예측하며, 월드 모델을 향한 유망한 경로를 제공한다. 그러나 이 패러다임은 세계 역학을 내재화하기보다는 수동으로 부과된 역학적 가정에 의존하므로, 진정한 월드 모델까지는 여전히 격차가 남아 있다. 이 격차를 메우기 위해, 우리는 시각 관측으로부터 통합된 내재 역학 표현을 학습하는 새로운 세계 역학 모델링 프레임워크 NeuIDO를 제안하며, 물리 정보 기반 4D 생성을 월드 모델 방향으로 발전시킨다. 구체적으로, 우리는 월드 모델링을 신경 연산자(neural operator) 학습 문제로 정식화하고, 시각 관측 분포에서 내재 역학 분포로의 일반화 가능한 매핑을 학습하기 위한 2단계 학습 전략을 도입한다. 이 관측-역학 매핑을 바탕으로 NeuIDO는 동영상으로부터 직접 제로샷(zero-shot) 역학 추론을 가능하게 하며, 퓨샷(few-shot) 적응을 통해 복잡한 실세계 역학과 추가로 정렬(alignment)할 수 있다. 광범위한 실험을 통해 NeuIDO가 다양한 시각 관측 아래의 내재 역학을 공유 표현으로 효과적으로 통합하고, 새로운 장면에서 역학을 빠르게 추론함을 보여준다.

arXiv:2609.24308v1cs.CV

HappyWorld-Bench

HappyWorld-Bench

월드 모델(world model)을 평가하기 위해서는 생성된 월드의 품질뿐만 아니라 탐험(exploration), 상호작용 및 수정 상황에서의 일관성과 반응성을 모두 평가해야 합니다. 본 논문에서는 에이전트(agent)가 상호작용할 때 생성된 월드가 신뢰성을 유지하는지 평가하는 종합 벤치마크인 HappyWorld-Bench를 소개합니다. 본 설계는 생성적 구축부터 통합 월드 모델링에 이르는 6가지 월드 역량(W1-W6)의 계층적 역량 프레임워크를 기반으로 구축되었으며, 비디오 월드 모델, 공간 월드 모델, 체화 월드 모델(embodied world model)의 세 가지 독립된 평가 트랙에 걸쳐 구체화됩니다. HappyWorld-Bench는 1,138개의 비디오 프롬프트, 300개의 공간 장면, 254개의 체화 테스트 케이스로 구성됩니다. 세 가지 트랙 전반에서 인간 A/B 비교를 구성하고 모델 수준의 Elo 점수를 도출하기 위해 HappyWorld-Arena를 구축 및 운영하며, 이는 행동 정확도를 포착하는 새로 설계된 자동화 지표를 보완합니다. 본 연구는 이 통합 프레임워크 하에서 14개의 비디오 월드 모델, 9개의 공간 시스템, 8개의 체화 후보 모델을 평가합니다. 실험 결과는 세 트랙 모두에서 여전히 신뢰성 격차가 존재함을 보여줍니다. 비디오 모델은 확장된 롤아웃(rollout) 및 재방문 시 일관성이 저하되고, 공간 모델은 기껏해야 70.14%의 배치 정확도와 73.33%의 편집 실행률만을 달성하며, 체화 모델은 다단계 행동 전반에 걸쳐 상태를 보존하고 변경된 행동 조건 및 물리 법칙에 정밀하게 반응하는 데 어려움을 겪습니다. 이러한 결과는 월드 모델을 시각적 품질뿐만 아니라 상태 일관성, 그리고 행동과 개입에 대한 반응의 정확성을 바탕으로 평가해야 할 필요성을 강조합니다.

arXiv:2609.24208v1cs.CV

CoaG: 그리드 위의 원기둥: 비디오 생성을 위한 대략적인 3D 레이아웃 제어

CoaG: Cylinders on a Grid: Coarse 3D Layout Control for Video Generation

우리는 생성된 비디오에서 사람이 서 있는 위치와 카메라가 움직이는 경로를 모두 제어하기 위해 사용자가 얼마나 적은 기하학적 요소(geometry)를 그려야 하는지 질문을 던집니다. 우리의 답은 지면(ground plane)과 사람당 하나의 원기둥(cylinder)입니다. 사용자가 지면에 그리드를 그리고, 각 사람이 서 있어야 할 위치에 원기둥을 하나씩 배치한 뒤, 81프레임에 걸쳐 원기둥과 카메라를 이동시키면, 모델은 사람들이 원기둥의 위치를 차지하고 원기둥이 움직이는 대로 이동하며 그려진 카메라 시점에서 바라본 사실적인 비디오를 렌더링합니다. 외형(appearance)은 텍스트 프롬프트와 배경 참조 이미지에서 비롯되며, 레이아웃과 움직임은 기하학적 형상에서 비롯됩니다. 이러한 신호와 비디오를 쌍으로 묶은 데이터셋이 없기 때문에, 우리는 이 쌍을 직접 구축합니다. 자동화 엔진이 조합형 시드(combinatorial seed)로부터 2,000개의 캡션을 작성하고, 텍스트-비디오(text-to-video) 모델로 각각에 대한 클립을 생성한 다음, 실제 영상이나 수작업 라벨 없이 사람 추적(tracking), 배경 인페인팅(inpainting), 에이전트 기반 지면 마스크 루프, 피드포워드 다중 시점 재구성(feed-forward multi-view reconstruction) 및 평면 피팅을 통해 모든 클립을 기하학적 형상으로 다시 복원(lift)합니다. 이러한 1,935개의 튜플로 학습된 Wan2.2-Fun-Control 기반의 LoRA는 홀드아웃 클립에서 그려진 레이아웃과 카메라 경로를 잘 따릅니다. 즉, 생성된 인물들은 원기둥의 개수, 순서, 위치 및 높이와 일치하며, 텍스트는 인물이 누구인지를 바꾸고, 참조 이미지는 그들이 어디에 있는지를 변경하며, 돌리-인(dolly-in), 오빗(orbit), 팬(pan), 크레인(crane) 경로는 따르지만 돌리-아웃(dolly-out)은 약하게만 따릅니다.

arXiv:2609.23817v1cs.CV

VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성

VISTA: Video-Injected Stylized Text-to-Animation

본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.

arXiv:2609.23797v1cs.GR

MoSAT: 공간 오디오와 텍스트 설명으로부터의 인간 동작 생성

MoSAT: Human Motion Generation from Spatial Audio and Textual Description

인간의 동작(motion)은 외부의 음향 사건(acoustic event)과 행동 의도(behavioral intent) 모두에 의해 형성된다: 공간 오디오(spatial audio)는 반응을 유발하거나 안내하는 환경적 단서를 전달하며, 텍스트는 원하는 행동과 그것이 수행되어야 하는 방식을 명시한다. 본 논문에서는 공간 오디오와 자연어에 공동으로 조건화된 인간 동작 합성이라는 새로운 과제를 연구하며, 이는 기존 연구에서 크게 간과되어 온 문제이다. 이 과제를 뒷받침하기 위해, 우리는 공간 오디오와 상세한 텍스트 주석이 짝지어진 동작 시퀀스로 구성된 데이터셋(dataset)인 STAM을 소개하며, 이 텍스트 주석의 풍부한 어휘는 인간 동작을 정밀하고 세밀하게 명시할 수 있게 한다. 나아가 우리는 자연어로 표현된 의도와 방향성을 가진 공간 오디오 단서에 공동으로 조건화된 전신 동작 생성을 위한 잠재 흐름 매칭(latent flow-matching) 프레임워크인 MoSAT을 소개하며, 이는 동작을 생성하기 전에 계층적 교차 어텐션(hierarchical cross-attention)을 거친다. 이러한 계층적 설계는 시간적으로 일관되고 의미적으로 정렬된 동작 시퀀스를 향상시킨다. 우리는 또한 이 새로운 과제에 대한 종합적인 평가를 위해 삼중 모달(tri-modal) 평가자를 개발한다. 광범위한 실험을 통해 MoSAT이 공간 오디오의 본질적인 동작 형성 특성과 텍스트 의미를 함께 활용함으로써 SOTA 성능을 달성하며, 다양한 시나리오에서 정밀하고 다양한 동작을 가능하게 함을 보인다.

arXiv:2609.23658v1cs.CV

비디오 확산 모델은 왜 물리를 위반하는가? 어텐션 메커니즘의 결함 규명

Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms

뛰어난 시각적 품질에도 불구하고, 최신 비디오 확산 모델은 종종 실세계 물리 법칙을 위반하는 콘텐츠를 생성한다. 기존 해결책은 외부 사전(prior)이나 특화 데이터에 의존하는 반면, 우리는 이러한 모델의 내부 메커니즘을 탐구하여 근본 원인을 조사한다. 구체적으로, text-to-video 확산 모델의 ''motion planning'' 과정에 대한 최초의 해석 가능성(interpretability) 연구를 제시하며, 초기 디노이징(denoising) 단계에서 움직임 궤적(motion trajectory)이 어떻게 형성되는지 밝힌다. ''first shape, then details'' 발견을 바탕으로, cross-attention 궤적 패턴과 인과적 헤드(causal head) 기여를 결합하여 motion planning을 주도하는 어텐션 헤드의 특정 부분집합을 식별한다. 또한 self-attention 분석은 Rotary Position Embedding(RoPE)이 과도한 공간 어텐션 감쇠(attention decay)를 유발함을 보여준다. 이로 인해 초기 후보 영역이 물리적으로 불가능한 위치에 조기 고정되어, 인접 프레임의 합리적인 궤적을 억압하고 생성 실패 모드를 유발한다. 이 근본적 결함을 해결하기 위해, 서로 다른 디노이징 단계에서 RoPE의 주파수를 조절(scale)하는 경량 아키텍처 수정을 제안한다. 이 전략은 과도한 어텐션 감쇠를 줄여, 모델이 일관된 물리적 움직임을 확립하기 위해 더 나은 후보 영역을 탐색하도록 돕는다. 마지막으로, 학습 없는(training-free) 및 학습 기반(training-based) 실험이 생성된 비디오의 물리 상식(physical commonsense) 향상에서 우리 접근법의 효과를 확인한다.

arXiv:2609.23586v1cs.CV

비디오 생성 모델의 지식 재산권 보호를 위한 효율적이고 효과적인 워터마킹 기법

An Efficient and Effective Watermarking Scheme for the Protection of the Intellectual Property Rights of Video Generative Models

비디오 생성 모델(VGM)의 급격한 발전으로 매우 사실적인 합성 비디오 생성이 가능해졌으나, 동시에 이러한 모델들의 지식 재산권(IPR)에 대한 우려를 낳고 있습니다. 특히 밀접하게 연관된 두 가지 포렌식 과제, 즉 합성 비디오 검증(특정 비디오가 보호 대상 VGM에 의해 생성되었는지 판별)과 모델 소유권 검증(의심되는 VGM이 보호 대상 VGM의 무단 복제본인지 판별)은 여전히 제대로 다루어지지 않고 있습니다. 본 논문에서는 이 두 가지 검증 과제를 해결할 수 있는 새로운 생성 중(in-generation) 워터마킹 기법을 제안합니다. 먼저, 2-스케일 이산 웨이블릿 변환(DWT) 분해와 전역 시간 어텐션 블록(GTAB)을 통합하여 워터마크의 강인성과 비가시성을 강화하는 VidMark라는 새로운 비디오 워터마킹 네트워크를 제시합니다. 둘째로, 디코더 유도 미세조정(fine-tuning) 절차를 제시합니다. 고정된(frozen) VidMark 디코더를 활용함으로써, 이 과정은 VGM이 인지하기 어렵고 강인하며 모델에 특화된 워터마크를 포함하는 비디오를 합성할 수 있도록 합니다. 마지막으로, 합성 비디오 검증과 모델 소유권 검증을 수행하기 위한 두 가지 검증 프레임워크를 구축합니다. 대표적인 VGM들을 대상으로 한 광범위한 실험을 통해 제안된 기법이 비디오 생성 품질에 미치는 영향을 최소화하면서도 두 과제 모두에서 99% 이상의 워터마크 추출 정확도와 100%의 검증 정확도를 달성함을 입증합니다. 또한, 해당 워터마크는 포괄적인 범위의 비디오 수준 및 모델 수준 공격에 대해 강력한 강인성을 나타냅니다.

arXiv:2609.23408v1cs.CV

효율적인 프레임 보간을 위한 베지에 조절점 기반의 정확한 모션 추정

Accurate Motion Estimation with B\'ezier Control Point for Efficient Frame Interpolation

프레임 보간(frame interpolation) 작업에서 학습 데이터셋 내의 모션 모호성(motion ambiguity)은 모델이 흐릿한 중간 프레임을 생성하게 만듭니다. 또한, 추론 시 프레임 간 등속 모션을 가정하는 것은 생성된 중간 프레임의 부정확성을 더욱 심화시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 효율적인 프레임 보간을 위한 베지에 조절점 기반의 정확한 모션 추정 알고리즘인 ABC-Inter를 제안합니다. 구체적으로, ABC-Inter는 두 프레임의 특징을 분리하고 이를 해당 좌표에 매핑하여 두 프레임 간의 옵티컬 플로우(optical flow)를 더 잘 추정하는 정확한 플로우 추정 모듈(Accurate Flow estimation Module, AFM)을 설계합니다. 나아가 ABC-Inter는 입력 프레임과 중간 실측값(gt) 프레임을 사용하여 계산되는 베지에(Bézier) 조절점을 도입함으로써 학습 세트의 모션 모호성을 제거합니다. 이를 통해 모델은 학습 과정에서 두 프레임 간의 정확한 옵티컬 플로우를 추정할 수 있게 되며, 결과적으로 추론 시 생성되는 중간 프레임의 흐릿함 문제를 해결합니다. 두 프레임 간의 더욱 정확한 플로우 추정 덕분에, 모델을 재학습하지 않고도 추가 프레임을 도입하고 여러 플로우를 직접 사용하여 비균일 모션을 모델링하기 위한 베지에 조절점을 계산할 수 있습니다. 동시에 단 두 개의 프레임만을 사용하여 비선형 모션 추정을 실현하기 위해, 2단계에서 모델에 미세조정을 수행하여 두 프레임 간의 더 우수한 모션 추정을 달성하는 새로운 베지에 조절점 추정 모듈도 도입합니다. 실험 결과는 우리의 ABC-Inter가 여러 벤치마크 데이터셋에서 최고 수준(state-of-the-art)의 성능을 달성하며 뛰어난 시각적 인지 품질을 보여줌을 입증합니다.

arXiv:2609.23184v1cs.CV

CausalWM: 체화된 월드 모델을 위한 인과적 사고의 연쇄 추론

CausalWM: Causal Chain-of-Thought Reasoning for Embodied World Model

체화된 월드 모델(Embodied World Model)은 시각적 관측과 제어 신호로부터 미래의 물리적 동역학을 예측하도록 학습하며, 이때 물리적 지식은 잠재 표현(latent representation) 내에 암묵적으로 얽혀 있다. 본 논문에서는 미래 비디오 예측 이전에 명시적인 인과적 사고의 연쇄(Causal Chain-of-Thought) 추론을 수행하는 160억 파라미터(16B) 규모의 체화된 월드 모델인 CausalWM을 소개한다. CausalWM은 유용한 변수들을 하나의 추론 궤적(reasoning trajectory)으로 구성하여, 모델이 물리적 진화의 근저에 있는 인과적 의존성을 점진적으로 포착할 수 있도록 한다. CausalWM을 학습시키기 위해 3만 1천 시간(31K hours) 분량의 체화된 데이터를 수집하였으며, 대규모 비디오 사전학습, 인과적 CoT 중간 학습(mid-training), 다중 목적 강화학습(RL) 사후 학습으로 구성된 3단계 패러다임을 개발하였다. 제한된 수의 지도(supervised) CoT 변수만을 사용했음에도 불구하고, CausalWM은 창발적인 문맥 내 학습(in-context learning) 능력을 보여주며, 이를 통해 문맥적 시각 특징 유도와 효율적인 소수 스텝(few-step) 생성이 가능하다. CausalWM은 언어 조건화(language-conditioned), 행동 조건화(action-conditioned), 단일 시점(single-view) 및 다중 시점(multi-view) 벤치마크 전반에서 최첨단(state-of-the-art) 성능을 달성했으며, TriWorldBench 리더보드에서 1위(Top-1) 성능을 기록했다.

arXiv:2609.22913v1cs.CV

AVTR-1: 실시간 대화형 아바타를 위한 오픈 스택

AVTR-1: Open Stack for Real-Time Interactive Avatars

토킹헤드(talking-head) 및 이인(dyadic) 모델은 이제 실시간 추론을 달성하지만, 빠른 모션 생성만으로는 대화형 상호작용이 만들어지지 않는다. 라이브 시스템은 모델 출력을 외부 음성 에이전트의 발화와 동기화하고, 재생을 위해 비디오 프레임을 스케줄링하며, 중단(interruption)을 처리해야 한다. 우리는 양 참가자의 오디오에 조건을 건 컴팩트한 1억 5,300만 매개변수(153M-parameter) 자기회귀(autoregressive) flow-matching 모션 생성기를 중심으로 구축한, 실시간 대화형 아바타 대화를 위한 오픈 스택 AVTR-1을 제안한다. 자기 증류(self-distillation)를 통해 오디오 인코더를 스트리밍에 맞게 적응시킨다. 이 스택은 모델의 청크 기반 생성을 외부 음성 에이전트가 구동하는 연속적이고 동기화된 오디오-비디오 스트림으로 바꾸며, 사용자 대면 지연(latency)에 대한 기여를 해석적으로 유도하고 두 상용 음성 에이전트로 그 상한을 검증한다. 추가 실험에서 AVTR-1은 비교된 이인 시스템들 가운데 보고된 모든 시각 품질 지표와 대부분의 기존 청취-모션(listening-motion) 지표에서 우수하며, 입술 동기화(lip synchronization)에서는 경쟁력을 유지한다. 추론 런타임은 데이터센터 및 소비자용 GPU에서 실시간으로 동작한다. 그러나 기존 청취 지표만으로는 짝을 이룬 화자(speaker)의 발화가 생성된 모션에 기여하는지 입증할 수 없다. 따라서 우리는 청취자(listener) 이력과 화자 모션을 고려한 뒤 화자 발화가 추가로 전달하는 예측 정보를 측정하는 Reference-Based Directed Granger Gain(R-DGG)을 도입한다. R-DGG는 녹화된 청취자와 평가된 모든 이인 시스템에서 통계적으로 뒷받침되는 예측 의존성을 보이지만, 짝 오디오 없는 토킹헤드 생성기나 불일치한 화자-청취자 쌍에서는 그렇지 않다. 모델 가중치, 렌더러, 서빙 백엔드를 구성요소별 라이선스 하에 공개한다.

arXiv:2609.22762v1cs.CV

DriveReferee: 주행 월드-액션 모델에서 기하학적 안전 판정은 굳이 학습될 필요가 없다

DriveReferee: Geometric Safety Verdicts Need Not Be Learned for Driving World-Action Models

생성형 월드-액션 모델(world-action model, WAM)은 미래 비디오와 차량 액션을 공동으로 생성하지만, 액션 브랜치는 여전히 주로 전문가 모방(expert imitation)을 통해 최적화된다. 그러나 모방은 생성된 궤적에 대해 명시적인 폐루프(closed-loop) 기하학적 판정을 제공하지 않으므로, 학습(training)과 배포 모두에서 검증이 중요해진다. 폐루프 평가기(evaluator)는 충돌 및 주행 가능 영역 위반을 확인할 수 있지만, 배포 시에는 사용할 수 없는 특권적 씬 상태(privileged scene state)를 필요로 한다. 기존 접근 방식은 센서 특징으로부터 검증기(verifier)를 학습하여 이러한 간극을 좁히는 경우가 많다. 이러한 기하학적 검사의 경우 규칙 자체는 명시적이다. 예를 들어, 충돌은 전개된 자차 풋프린트(footprint)가 점유된 차량 공간과 겹치는지 여부로 결정된다. 배포 시 사용할 수 없는 것은 해당 규칙을 적용하는 데 필요한 씬 상태이다. 본 논문에서는 학습된 기하학 판독(geometry readout)을 사용하여 카메라 관측으로부터 씬 표현을 예측하고, 기하학적 안전 규칙을 학습하는 대신 직접 실행하는 DriveReferee를 소개한다. 이를 통해 생성된 해석적 심판(analytic referee)은 씬 상태와 후보 궤적으로부터 충돌 및 주행 가능 영역 안전성을 평가한다. 학습 중에는 참값(ground-truth) 상태에서 자체 샘플링된 궤적의 점수를 매기고 그 결과로 얻은 선호도를 WAM 정책에 증류(distill)한다. 배포 시에는 동일한 심판이 이 예측된 상태를 바탕으로 생성된 궤적을 평가하고 필요할 때 더 안전한 대안을 선택한다. 해석적 심판은 판정 관련 전용 학습을 필요로 하지 않으며, 그 결정은 명시적인 기하학적 규칙을 따른다. 동일한 후보군과 추론(inference) 예산 하에서, 본 방식은 모든 학습 기반 검증기 및 휴리스틱 베이스라인과 대등하거나 이를 능가한다. 동일한 예측 상태와 궤적이 주어졌을 때, 판정 자체를 학습하는 것은 평가기 라벨이 부착된 수만 개의 학습 예제가 필요함에도 불구하고 측정 가능한 다운스트림 이득을 제공하지 못한다. 전체 NAVSIM navtest에서 DriveReferee는 단일 카메라 시각 입력만으로 외부 학습 데이터 없이 92.02 PDMS를 달성한다.

arXiv:2609.22641v1cs.CV

ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅

ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models

자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.

arXiv:2609.22283v1cs.CV

스트리밍 비디오 확산 모델 재고찰: 컨텍스트, 실행, 학습

Rethinking Streaming Video Diffusion Model: Context, Execution, and Training

스트리밍 비디오 확산(diffusion)의 설계 공간을 이해하는 것은 생성 품질과 계산 효율성 측면에서의 잠재력을 탐구하는 데 필수적이다. 본 연구에서는 모델 및 샘플러 선택, 과거 이력 조건화(historical conditioning), 실행 스케줄링, 학습 전략을 서로 연관 짓는 통합 분석 프레임워크를 개발한다. 이 프레임워크는 광범위한 계열의 인과적(causal) 컨텍스트 선택 정책을 수용하며, 이들의 계산적 의존성과 학습-추론 정합성(training-inference alignment)을 명시적으로 드러낸다. 이 설계 공간 내에서 우리는 clean, same-level, progressive history라는 세 가지 대표적인 정책을 연구한다. 전체 VBench 프롬프트 세트에서 same-level history와 progressive history는 각각 85.24, 85.60의 종합 점수를 달성했으며, 이는 clean-history 기준선의 84.45와 비교된다. 장편 비디오 비교 실험에서는 progressive history가 피사체 일관성(subject consistency)을 향상시키고 더 일관된 움직임을 보여주었다. 여러 디노이징(denoising) 노드를 함께 처리할 수 있게 함으로써, progressive-history 파이프라이닝은 우리가 평가한 조건에서 정상 상태(steady-state) DiT 기준 1.57배에서 2.83배의 속도 향상을 달성했다. 또한 DMD fake-score 네트워크에 대한 LoRA 적응(adaptation)이 전체 매개변수(parameter) 적응 대비 단 2.15%의 학습 가능한 fake-score 매개변수만으로도 생성 품질을 향상시킨다는 것을 발견했다. 이러한 결과들은 완전히 디노이징된 이력(history)이 고품질 스트리밍 생성의 필수 조건이 아님을 보여주며, 과거 이력 조건화, 실행, 학습을 공동으로 설계할 필요성을 시사한다.

arXiv:2609.22267v1cs.CV

내 샷을 훔쳤나? 생성형 영상에서 카메라 모션 표절 검출의 개척

Did You Steal My Shot? Pioneering Camera Motion Plagiarism Detection in Generative Videos

카메라 모션은 종종 연출 의도를 반영하며 전문 장비를 필요로 하므로, 지적 재산으로서 높은 가치를 지닌다. 그러나 생성형 비디오 모델은 단순한 프롬프트만으로 이러한 고가치 카메라 모션을 모방할 수 있는 반면, 기존 유사도 검출 방법은 주로 시각적 콘텐츠를 대상으로 동작하여 더 깊은 수준의 모션 유사성을 포착하지 못한다. 이는 주로 해당 방법들의 학습 데이터가 카메라 모션과 시각적 콘텐츠를 얽어놓기 때문이다. 또한 전통적인 optical flow만으로는 복잡한 카메라 모션을 표현하기에 불충분하다. 따라서 우리는 카메라 모션 분석을 위한 최초의 벤치마크를 구축하며, 11가지 모션 스타일을 포함하는 모션 데이터셋과 평가 프로토콜을 제시한다. 더 나아가 유체 역학의 vorticity(와도) 단서로 optical flow를 보강하는 모션 표현을 제안하여 모션을 더 잘 포착한다. 실험 결과, 제안 검출기는 가장 강한 기준선 대비 표절 검출에서 3.02*의 향상을 달성하였으며 생성형 영상에서도 효과를 유지한다. 우리는 본 연구가 저작권 보호를 정적 콘텐츠를 넘어 동적 카메라 모션까지 확장한다고 믿는다.

arXiv:2609.20819v2cs.CV

4D 파운데이션 모델은 기억할 수 있는가?

Can 4D Foundation Models Remember?

시각적 세계를 지각하고 기억하는 것은 환경을 탐색하고 상호작용하는 데 필수적입니다. 카메라 제어가 가능한 비디오 모델이나 4D 재구성 모델과 같은 최신 4D 파운데이션 모델은 동적 환경을 지각하고 재구성할 수 있지만, 지각한 내용을 얼마나 잘 기억하는지는 여전히 미해결 과제로 남아 있습니다. 기존 벤치마크는 주로 픽셀 수준의 지표에 의존하며, 객체가 시야(field of view)를 벗어난 후에는 정답(ground truth)이 부족하여 참조 대비 객체 중심 방식으로 시각적 기억을 평가할 수 없습니다. 이러한 공백을 메우기 위해 본 논문에서는 전방위 정답(ground truth)으로 360{\deg} 비디오를 활용하고 객체 영속성(object permanence), 움직임 연속성(motion continuity), 외형 보존(appearance preservation)의 세 가지 평가 측면을 제안하는 데이터셋이자 메트릭 스위트인 PersistBench를 소개합니다. 다양한 범주에 걸쳐 여러 모델을 평가한 결과, 현재 모델들은 객체가 시야를 벗어나면 크게 저하되는 단기적 일관성만을 유지할 수 있음을 확인했습니다. 본 연구 결과는 현재 모델 역량과 견고한 시각적 기억 사이의 격차("보는 것이 기억하는 것은 아니다")를 강조하며, 향후 4D 파운데이션 모델 개발을 위한 지침을 제공합니다. 데이터셋과 코드는 프로젝트 페이지(https://guangzhaohe.com/persistbench)에서 확인할 수 있습니다.

arXiv:2609.19840v2cs.CV

KoUniTalk: 조음 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크

KoUniTalk: A Lightweight Articulation-Centered Korean-English 3D Talking Face Benchmark

고품질 3D 토킹 페이스(talking face) 데이터셋은 여전히 대부분 영어 중심으로 구성되어 있으며, 한국어 3D 얼굴 모션 데이터는 메시 토폴로지(mesh topology), 공간 스케일, 좌표계, 시간 샘플링의 차이로 인해 표준 영어 벤치마크와 결합하기 어렵다. 본 논문에서는 변형 전이(deformation transfer)를 활용하여 VOCASET 및 공개된 한국어 음성 기반 3D 토킹 페이스 데이터를 공유 메시 토폴로지로 리타기팅(retargeting)한 조음(articulation) 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크인 KoUniTalk를 제시한다. 새로운 변형 전이 알고리즘이나 전두부(full-head) 신원 보존형 아바타 데이터셋을 제안하기보다는, KoUniTalk는 영어와 한국어 전반에서 통제된 음성 구동 얼굴 조음 학습(training) 및 평가(evaluation)를 위한 신원 중립적 표준(canonical) 출력 공간을 제공한다. 통합 템플릿은 1,176개의 정점(vertex)을 포함하며 입과 인접한 하안부 및 중안부 영역에 집중하여 출력 차원을 15,069차원 및 72,147차원에서 3,528차원으로 축소하며, 이는 VOCASET/FLAME 및 원본 한국어 메시에 비해 각각 4.27배 및 20.45배 감소한 것에 해당한다. 리타기팅이 음성 관련 모션을 보존하는지 검증하기 위해, 입 벌림(mouth opening), 입 너비, 개구율(aperture ratio), 입 벌림 동역학(mouth-opening dynamics)을 포함한 의미론적 입 랜드마크 궤적을 평가한다. 한국어 데이터셋의 공식 테스트 세트가 공개되지 않았기 때문에, 피험자가 겹치지 않는(subject-disjoint) 한국어 벤치마크 분할을 추가로 정의한다. 처리 및 매칭된 벤치마크는 22명의 화자, 4,978개의 시퀀스, 642,781개의 프레임을 포함하여 단일 소형 조음 템플릿 공간에서 음성 구동 3D 얼굴 애니메이션 모델의 한국어-영어 교차 데이터셋 평가를 가능하게 한다. 소스 보고 인벤토리 수는 처리된 수치와 별도로 나열된다.

arXiv:2609.14725v2cs.CV

CrossDistill: 궤적 수준 하이브리드 소수 스텝 증류를 통한 품질과 다양성의 균형

CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation

소수 스텝 증류(few-step distillation)는 디퓨전 모델(diffusion model)을 가속화하지만 다양성과 충실도(fidelity) 사이의 균형을 맞춰야 한다: 궤적 기반 증류(trajectory-based distillation)는 모드 커버리지(mode coverage)를 보존하는 반면, 분포 매칭(distribution matching)은 샘플을 선명하게 만들지만 다양성을 감소시킬 수 있다. 우리는 이러한 긴장 관계가 노이즈 영역(noise-regime)에 따라 활용될 수 있음을 보인다: 고노이즈(high-noise) 스텝은 전역적인 모드(global mode)를 대체로 결정하는 반면, 저노이즈(low-noise) 스텝은 국소적인 세부 사항을 정제한다. 우리는 샘플링 궤적을 교차점(crossover point)에서 분할하여 고노이즈 구간에는 궤적 보존(trajectory-preserving) 목적함수를, 저노이즈 구간에는 분포 매칭 목적함수를 적용하고, 이 두 단계를 교차 상태(crossover state)를 통해 결합하는 궤적 수준 하이브리드 증류 프레임워크인 CrossDistill을 제안한다. 손실(loss) 수준 혼합과 달리, 그리고 학습(training) 시점의 2단계 방식(training-time two-stage recipe)을 보완하는 방식으로, CrossDistill은 노이즈 축을 따라 상호 보완적인 목적함수를 명시적으로 할당함으로써, 국소 통계량이 선명해지기 전에 전역적 분기(global branching)가 보존되도록 한다. CrossDistill은 노이즈 수준의 스케줄링 정책(scheduling policy)으로, PCM과 DMD는 플러그인 형태의 구체적 구현(instantiation)이며, 노이즈 분할(noise partition), 교차 결합(crossover coupling), 목적함수 순서(objective ordering)가 핵심 설계 요소이다. 텍스트-투-비디오(text-to-video) 디퓨전 모델에 대한 실험과 이미지-투-비디오(image-to-video)에 대한 정성적 결과는 CrossDistill이 소수 스텝 품질-다양성 프런티어(quality-diversity frontier)를 확장하여, 경쟁력 있는 시각적 충실도를 달성하면서도 시드 수준(seed-level)의 변동성을 유지함을 보여준다.

arXiv:2604.06655v2cs.CV

밀집 사전정보 유도 생성형 비디오 압축

Dense-Prior-Guided Generative Video Compression

확산(diffusion) 기반 생성형 비디오 압축은 저비트레이트 복원을 위한 유망한 패러다임을 제공하지만, 기존 키프레임 기반 제어 가능(controllable) 방식은 비키프레임에 희소(sparse) 사전정보(prior)를 사용하는데, 이는 충실한 복원에 필요한 저수준 세부를 충분히 담지 못하는 경우가 많고, 생성 모델을 특화된 제어에 맞추려면 상당한 학습이 필요하다. 우리는 Dense-Prior-Guided Generative Video Compression(DGVC)을 제안한다. DGVC는 학습 없이 비키프레임의 코덱 압축 휘도(luminance) 성분을 밀집(dense) 사전정보로 활용해 복원을 유도하는 프레임워크이다. 희소 제어와 달리 밀집 휘도 사전정보는 현대의 충실도 지향 비디오 코덱과 호환되며 압축 후에도 충분히 충실하게 유지되어, 사전정보 전용 코덱 학습이 필요 없고 실무에서 추가적인 생성 모델 적응도 불필요하게 한다. 또한 휘도 사전정보는 구조·질감 정보를 더 풍부하게 보존하므로, 제어 가능한 비디오 생성에 더 신뢰할 만한 유도를 제공한다. DGVC는 색차(chrominance) 복원을 위해 색 변화를 포착하도록 색 거리 기반 키프레임 선택 전략을 추가로 도입한다. 광범위한 실험에서 DGVC는 신호 충실도와 지각 품질 모두에서 기존 제어 가능 압축 방법을 일관되게 능가하며, 대표적인 사후 향상(post-enhancement) 접근과도 경쟁력을 유지한다.

arXiv:2602.24208v2cs.CV

SenCache: 민감도 인식 캐싱을 통한 확산 모델 추론 가속

SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching

확산 모델은 최첨단 수준의 비디오 생성 품질을 달성하지만, 순차적 디노이징 단계가 많아 추론 비용이 여전히 큽니다. 이에 따라 확산 모델 추론 가속 연구가 활발히 진행되고 있습니다. 학습 없이 적용할 수 있는 가속 방법 가운데 캐싱은 타임스텝에 걸쳐 이전에 계산한 모델 출력을 재사용하여 연산량을 줄입니다. 기존 캐싱 방법은 캐시 및 재사용 타임스텝을 선택하기 위해 휴리스틱 기준에 의존하며 광범위한 튜닝을 요구합니다. 본 연구는 원칙에 기반한 민감도 인식 캐싱 프레임워크로 이 한계를 해소합니다. 구체적으로, 디노이징 입력—노이즈 잠재 변수와 타임스텝—에 대한 섭동에 대한 모델 출력 민감도를 분석하여 캐싱 오차를 형식화하고, 이 민감도가 캐싱 오차의 핵심 예측 변수임을 보입니다. 이 분석에 기반하여 샘플별로 캐싱 타임스텝을 적응적으로 선택하는 동적 캐싱 정책인 Sensitivity-Aware Caching(SenCache)을 제안합니다. 본 프레임워크는 적응형 캐싱에 대한 이론적 토대를 제공하고, 선행 경험적 휴리스틱이 부분적으로 효과적인 이유를 설명하며, 이를 동적이고 샘플 특화 접근으로 확장합니다. Wan 2.1, CogVideoX, LTX-Video에 대한 실험에서 SenCache는 유사한 연산 예산 하에서 기존 캐싱 방법보다 더 나은 시각적 품질을 달성함을 보여 줍니다.