우리는 비디오 행동 인식에서 롱테일 데이터에 대한 학습 문제를 다룬다. 행동 프로필과 학습 예시에 그라운딩된 다양한 텍스트 프롬프트를 조건으로 하는 텍스트-투-비디오 생성 모델을 사용하여 학습 데이터셋을 증강할 것을 제안한다. Gen2Balance라고 부르는 우리의 접근법은 불균형한 학습 데이터셋을 실제 및 생성된 비디오 클립의 균형 잡힌 조합으로 변환한다. 이러한 데이터로부터 효과적으로 학습하기 위해, 도메인 시프트(domain shift)를 완화하고 상당한 성능 향상을 달성하는 2단계 학습 전략을 사용한다. UCF-101(UCF-LT) 및 시간적으로 어려운 행동을 우선적으로 선별한 Kinetics의 100클래스 부분집합(K100-LT)과 같은 표준 벤치마크의 롱테일 버전에서 평가한다. Gen2Balance는 각각의 데이터셋에서 롱테일 학습을 위한 최강 베이스라인 대비 정확도를 5.1% 및 7.0% 향상시킨다. RareAct 데이터셋의 희귀 행동(예: cut keyboard)에서 Gen2Balance는 정확도를 31.9% 향상시켜, 희소 행동에 대한 효과를 보여준다. 추가하는 합성 데이터의 양을 변화시킴으로써, 부분적 균형화만으로도 K100-LT에서 연산 비용의 27%로 성능 향상의 79%를 이미 달성함을 보여주며, Gen2Balance의 실용적 확장성을 강조한다.
최근 영상 생성의 발전으로 분 단위 합성이 가능해졌지만, 오류 누적, 속성 드리프트(attribute drift), 장편 영상 데이터의 제한적 가용성으로 인해 긴 영상 생성은 여전히 어렵다. 본 논문에서는 이러한 문제 해결에 초점을 맞춘 무한 길이 영상 생성 프레임워크를 제안하며, 고품질·역동적·정체성 일관성을 갖춘 단일 샷(single-shot) 장편 영상을 생성한다. 먼저 대규모 단편 영상 데이터로 확산 모델(diffusion model)을 영상 연장 모델로 파인튜닝하여 시간적으로 일관된 클립을 자기회귀적으로 생성한다. 대규모 언어 모델(LLM)의 성공에 영감을 받아, 클립 간 인과적(causal) 어텐션 계산을 도입하여 장편 영상 데이터로 이 모델을 추가 파인튜닝한다. 이를 통해 한 클립(단편 영상) 내 토큰은 양방향 어텐션으로, 클립 간 토큰은 단방향 어텐션으로 계산된다. 이 설계는 현대 확산 모델의 강점을 활용하면서 장기 문맥 정보를 보존하여 오류 누적과 속성 드리프트를 효과적으로 완화한다. 추론 시 메모리 효율을 위해 키-값(KV) 캐싱 메커니즘을 도입하여 KV 메모리를 일정하게 유지한다. 또한 오류 누적을 더 억제하기 위해 절단 보정 흐름(truncation-rectified flow, T-RFlow) 기법을 제안한다. 실험 결과는 제안 방법의 효과를 보여준다. 본 프레임워크는 사실적이고 일관된 분 단위 영상 합성의 새로운 벤치마크를 제시한다.
정체성 보존 텍스트-투-비디오 생성(Identity-Preserving Text-to-Video Generation, IPT2V)은 참조 이미지와 텍스트 설명으로부터 시간적으로 일관된 영상을 합성하면서, 동시에 대상의 정체성을 보존하고 얼굴 역학에 대한 세밀한 제어를 가능하게 하는 것을 목표로 한다. 최근 ID-Animator, ConsisID와 같은 방법들은 추론 시점에만 정체성 특징을 주입하지만, 얼굴 임베딩에 포함된 ID와 무관한 정보를 무시하여, 프롬프트를 제대로 따르지 못하는 단조롭거나 부정확한 얼굴 움직임을 초래한다. 이 문제를 해결하기 위해 Identity-Action Decoupling(IaD) 프레임워크와 Identity Decoupling Loss, Text Alignment Loss라는 두 가지 손실 함수를 제안한다. 대상별 미세조정 없이도 IaD는 (1) 시간에 걸친 정체성 일관성을 유지하고 (2) 입력 텍스트와 밀접하게 일치하는 풍부하고 제어 가능한 표정 및 장면 변화를 보여주는 영상을 생성한다.
4D 역학(시간에 따라 진화하는 3D 기하)은 물리 세계의 기본 표현이며 월드 모델링(예: 애니메이션 및 게임)에서 중요한 역할을 한다. 임의 형상을 갖는 대규모 장기(horizon) 4D 메시 데이터의 부족으로, 초기 text-to-4D 방법은 비디오 확산 사전지식으로부터의 지식 증류(distillation) 또는 테스트 시점 최적화(test-time optimization)에 의존하여 추론이 지나치게 느려진다. 최근 피드포워드 생성기는 추론 비용을 크게 줄이지만 시공간적 제어 가능성이 제한적이며, 단기(horizon) 생성은 종종 장기 시퀀스에서 오류 누적을 초래한다. 우리는 키프레임 조건(keyframe conditioning)을 갖춘 임의 4D 메시를 위한 새로운 피드포워드 인-betweening 프레임워크를 제안한다. 범용 메시-애니메이션 잠재 표현(universal mesh-animation latents)을 기반으로, 키프레임 조건을 위해 참조 메시(reference mesh)에 고정(anchor)된 위상 비종속(topology-agnostic) 잠재 토큰으로 각 프레임을 인코딩하는 프레임 단위 메시 VAE를 도입한다. 또한 희소 키프레임(sparse keyframes)에 조건화된 비키프레임(non-keyframe frames)을 합성하는 MMDiT 백본을 갖춘 키프레임 조건 정류 흐름(rectified flow) 모델을 추가로 도입한다. 실험 결과 DyMesh16 및 DyMesh32 벤치마크 모두에서 강력한 성능과 향상된 제어 가능성을 보여준다.
비디오 확산 모델의 소수 스텝 지식 증류(distillation)는 실제 응용에서의 효율적 배포에 대한 긴급한 수요에 힘입어 상당한 주목을 받고 있다. 그러나 주류 패러다임인 분포 매칭 증류(Distribution Matching Distillation, DMD)는 제한된 NFE(함수 평가 횟수) 예산 하에서 성능이 저하되는 경향이 있으며, 비디오 생성에서는 레이아웃 불안정, 과포화(oversaturation), 모션 다이내믹스 붕괴로 나타난다. 우리는 이 실패를 구조적 한계로 귀인한다. 표준 DMD는 좌표별 그래디언트를 갖는 샘플 내(intra-sample) 분포 매칭 목적 함수이므로, 배치 요소들 또는 시간 프레임 간 관계적 기하학에 대한 명시적 제약을 부과하지 않아 근본 코퓰러(copula)를 거의 규제하지 못한다. 역 KL(reverse-KL) 목적 함수의 모드 추구(mode-seeking) 성향과 결합되어, 이러한 관계적 가이던스의 부재는 DMD가 소수 스텝 영역에서 국소 최적해로 붕괴하기 쉽게 만든다. 이 통찰에 영감받아, 우리는 동결된 교사 모델과 온라인 fake 모델이 이미 생성한 score 추정값을 재사용하여 샘플 및 프레임 간 쌍wise 관계 행렬을 구성하는 경량 관계 정규화(relational regularizer)인 코퓰러 인식 DMD(Copula-aware DMD, CoDMD)를 제안한다. 이는 추가 네트워크, 데이터셋, 또는 샘플링 궤적 없이 보조 분포 목적 함수를 통해 매칭된다. 1.3B 및 14B 규모의 Wan-2.1-T2V 모델 계열에서 CoDMD는 50스텝 교사 모델을 4스텝 학생 모델로 증류하여, 약 25배 속도 향상을 달성하면서 VBench 점수 84.46 및 84.87을 기록하여, 기존 궤적 기반(rCM 82.81 및 84.05) 및 분포 기반(DMD 83.38 및 83.81) 방법을 능가한다.
일관된 멀티샷 비디오를 생성하려면 구조화된 샷 간 메모리가 필요하다. 피사체 외형, 장면 맥락, 화자 신원은 컷이 이어져도 유지되어야 한다. 기존 접근법은 고정 길이 시퀀스에 대해 end-to-end로 학습하여 확장할 수 없거나, 선형적으로 커지는 메모리 뱅크를 사용해 샷 단위로 생성하거나, 멀티샷 인식 백본 없이 LLM 플래너 하에서 사전학습된 생성기를 오케스트레이션한다. 우리는 어노테이션이 부여된 영화 및 뮤직비디오 샷으로 학습된 LTX-2.3 기반의 메모리 주도 멀티샷 오디오-비디오 생성 시스템 UnityShots를 제안한다. 비디오 스트림은 두 개의 고정 크기 슬롯을 유지한다. 하나는 오프닝 샷에 고정된 장기 메모리(LTM) 슬롯이고, 다른 하나는 직전 구간의 꼬리를 담는 단기 메모리(STM) 슬롯이다. 두 슬롯은 시각적 컷 확률과 비트 트래커 신호를 융합하는 경계 조건 게이트에 의해 매 컷마다 갱신된다. 오디오 스트림은 슬라이딩 오디오 뱅크 없이 음색을 보존하기 위해 매 샷마다 참조 화자 토큰을 주입한다. AdaLN을 통해 학습된 이산적 컷 유형 사전(prior)은 전환 강도를 조절하는 추론 시점 제어 노브가 된다. 우리는 6개 민족 지역과 10개 이상의 언어에 걸친 $200$개의 다문화 멀티샷 시퀀스로 구성된 벤치마크를 공개하며, 샷별 참조 신원, 참조 오디오, 경계별 전환 레이블을 포함한다. I2V, T2V, R2V 조건화 모드 전반에 걸쳐 평가한 결과, UnityShots는 모든 샷 간 일관성 지표에서 오픈소스 베이스라인을 앞서며, 멀티샷 축에서 가장 강력한 폐쇄형 시스템과 동등한 성능을 보인다.
자연스럽고 정확한 문장 수준의 수화를 생성하려면, 기본 의미 단위인 "글로스(gloss)"를 합성하는 것이 필수적이다. 그러나 현재 대부분의 수화 생성(SLP) 방법은 전체 시퀀스를 한 번에 생성한다. 이러한 종단간(end-to-end) 접근은 종종 효율적이지만, 문장이 길어질수록 시간적 drift와 손 동작 blur에 취약하며, 개별 글로스를 정확히 제어하지 못한다. 본 논문에서는 의미(언어) 및 운동학적(동작) 문맥을 모두 조건으로 하여 연발음(coarticulation)을 모델링하는 글로스 단위 확산 프레임워크인 Context-aware Gloss-wise AutoRegressive Diffusion 모델(GARD)을 제안한다. 글로스 동작 간 자연스러운 연속성을 보장하기 위해 GARD는 두 가지 추가 전략을 도입한다: i) Inter-Gloss Transition Guidance — 그래디언트 기반 guidance를 적용하여 글로스 간 경계를 운동학적으로 정렬하고 매끄러운 pose 일관성을 보장한다. ii) Global Motion Harmonizer — Inter-Gloss Transition Guidance로 조정된 경계 pose를 기반으로 전체 글로스 동작 시퀀스를 정제한다. Phoenix-T 및 CSL-Daily 데이터셋에 대한 광범위한 실험 결과, GARD는 언어적 정확도와 동작 유사도 모두에서 기존 SLP 방법보다 우수한 성능을 달성함을 보여준다.
비디오 월드 모델은 미래 장면 진화를 예측하고 하위 행동 예측을 위한 미래 인식 시공간 표현을 제공하기 위해 자율주행에서 점점 더 많이 사용되고 있다. 인지-행동 파이프라인에서 이러한 표현은 자차 경유점 계획에 직접 영향을 미칠 수 있어, 학습된 미래 동역학이 보안상 민감한 핵심 구성 요소가 된다. 그 잠재력에도 불구하고, 자율주행용 비디오 월드 모델의 학습 시점 보안 위험은 여전히 거의 탐구되지 않았다. 우리는 BadDreamer를 제안한다. 이는 해당 파이프라인의 인지 측을 겨냥한 이식 가능한 시공간 백도어 공격이다. 기존 백도어가 이미지 레이블, 프롬프트 출력, 또는 행동 감독을 조작하는 것과 달리, BadDreamer는 비디오 월드 모델의 학습된 전이 동역학을 오염시킨다. 관측된 컨텍스트 프레임에서는 다가오는 노란색 배달 라이더가 보이지만 미래 프레임에서는 지워지는 트리거-소거 시퀀스를 구성한다. 이러한 시퀀스의 소량에 대해 미세조정한 후, 손상된 월드 모델은 숨겨진 조건부 연관을 학습한다. 물리적 트리거가 나타나면 라이더가 사라지고 도로가 비어 있는 미래를 환각한다. 우리는 이 손상된 미래 인식 표현이 자차 궤적 레이블을 직접 수정하지 않고도 하위 행동 모듈로 전이될 수 있으며, 안전하지 않은 비회피적 경유점 예측을 유발할 수 있음을 추가로 보인다. 우리의 실험은 대표적인 오픈소스 인지-행동 파이프라인에서 이 공격을 구현하여, 자율주행 비디오 월드 모델의 표현 수준 안전성 위험을 드러내고, 깨끗한 생성 품질을 넘어서는 백도어 인식 검증의 필요성을 강조한다.
텍스트-투-비디오(T2V) 확산(diffusion) 모델은 사실적이고 시간적으로 일관된 동영상을 합성하는 것을 점점 더 쉽게 만들었으며, 최근 개인화(personalization) 기법은 단 몇 개의 참조 클립만으로 이러한 모델이 특정 피사체, 스타일, 또는 동작 패턴을 모방하도록 할 수 있다. 이러한 기능은 새로운 데이터 오용 위험을 만든다. 온라인에 공유된 동영상이 수집되어 무단 T2V 미세조정에 사용될 수 있기 때문이다. 기존의 보호용 교란(perturbation)은 주로 이미지 인식이나 텍스트-투-이미지 개인화를 위해 설계되어, 따라서 동영상 개인화를 가능하게 하는 시간적 디노이징(denoising) 역학보다는 정적 외형 단서를 손상시키는 데 초점을 맞춘다. 이 격차를 해소하기 위해, 우리는 공개된 동영상이 무단 T2V 개인화에 악용되기 어렵게 만드는 최초의 선제적 보호 프레임워크인 ChronoLock을 제안한다. ChronoLock은 시간적 디노이징 궤적에 대해 경계가 있는 교란을 최적화함으로써 동작 학습 과정을 직접 겨냥한다. 먼저 적합 오류(fitting error), 프레임 상대적 디노이징 관계, 인접 프레임 변화를 결합한 확산 목적 함수로 청크 내(intra-chunk) 시간적 적응을 방해하고, 이어 청크 간(inter-chunk) 경계 불일치를 확대하여 장거리 동작 연속성을 약화시킨다. 변환 샘플링 기반 업데이트(transformation-sampled updates)는 일반적인 전처리 연산에 대한 견고성을 더욱 향상시킨다. UCF Sports와 HMDB51에서 인기 있는 T2V 백본 및 개인화 방식을 사용한 실험은 ChronoLock이 자동 지표와 인간 평가 모두에서 동작 모방을 효과적으로 줄인다는 것을 보여준다.
인간 동작 생성은 텍스트, 음악, 비디오 등 다양한 입력 모달리티에서 폭넓게 연구되어 왔으며, 최근에는 이를 단일 멀티모달 프레임워크로 통합하려는 노력이 이어지고 있다. 그러나 성별과 체형 같은 형태학적(morphological) 요인이 서로 다른 운동학적(kinematic) 특성을 낳는다는 것이 알려져 있음에도, 기존 통합 프레임워크는 이를 생성에 반영하지 않고 모든 피험자를 형태학적으로 동등한 것으로 취급한다. 본 논문은 Odoriko를 제안한다. Odoriko는 피험자의 생체 형태학(bio-morphological) 정보를 합성된 동작 출력에 직접 반영하는 최초의 통합 멀티모달 동작 생성 프레임워크이다. Odoriko는 피험자 간 변이를 평균화하는 대신, 단일 모델 내에서 텍스트, 음악, 비디오 조건 모두에 걸쳐 무엇을 하라는 지시뿐 아니라 누가 움직이는지와 일관된 동작을 생성한다. 명시적인 형태학적 정보를 사용할 수 없을 때 Odoriko는 동작과 함께 피험자 형태학을 추가로 복원하여, 하나의 프레임워크에서 추정과 생성을 통합한다. 텍스트-동작, 음악-댄스, 비디오-동작 벤치마크에 걸친 광범위한 실험은 Odoriko가 표준 지표에서 기존 특화 모델과 동등하거나 이를 능가함을 보여주며, 기존 통합 프레임워크가 지원하지 않는 형태학적 일관성을 갖춘 생성을 가능하게 한다.
영화 제작은 정밀한 동작 제어와 참조 이미지 합성을 요구하지만, 기존 방법들은 이러한 능력을 각각 따로 다룹니다. 포인트 추적(point-track) 조건화 image-to-video 모델은 콘텐츠 삽입을 첫 프레임으로 제한하고, reference-to-video 모델은 참조 콘텐츠가 프레임 간에 어떻게 통합되는지에 대한 세밀한 시공간(spatial-temporal) 제어가 부족합니다. 우리는 Go-with-the-Track을 제안하는데, 이는 다중 참조 이미지와 참조에 고정된(anchor) 포인트 추적을 공동으로 조건화하여 두 능력을 통합합니다. 기존 포인트 추적을 확장하여 생성 프레임과 참조 이미지 사이의 대응 관계를 명시적으로 설정하고, 이를 통해 영상 전체에서 정밀한 합성과 동작 제어를 가능하게 합니다. 이를 위해 좌표별 MLP와 이어지는 시간적 풀링으로 포인트 추적 좌표의 전체 시퀀스를 인코딩하는 공간 인식(spatially-aware) 포인트 추적 임베딩을 도입합니다. 이 표현은 각 포인트 추적의 공간적 특성을 포착하여(고유 식별자 역할을 하며), 임베딩 유사도가 공간적 근접성과 직접적으로 상관되어 모델이 포인트 추적을 구별하고 연관시키는 능력을 향상합니다. 이러한 포인트 추적 임베딩을 경량 어댑터를 통해 영상 확산(diffusion) 트랜스포머에 주입하여 픽셀-패치 해상도 불일치를 해소하고, 단순한 포인트 추적 서브샘플링에 내재된 상당한 동작 세부 손실을 피합니다. 동적, 정적, 합성 장면 영상 데이터셋에 공동 학습하는 하이브리드 학습 전략을 사용하여 동작 제어 가능성을 높입니다. 실험 결과 Go-with-the-Track은 단일 모델에서 우수한 동작 및 참조 제어를 달성하고, 포인트 추적 기반 합성을 수반한 다중 참조 조건화 영상 생성과 정적·동적 장면 모두에서의 카메라 제어 등 새로운 기능을 가능하게 합니다. 프로젝트 페이지: https://eyeline-labs.github.io/Go-with-the-Track/
카메라 모션 제어는 생성형 시스템에서 시점 변화를 지시하는 데 필수적이다. 그러나 기존 방법들은 일반적으로 생성 과정을 명시적 포즈(pose) 궤적이나 참조 비디오와 같은 단일 특정 모달리티에 조건화하여, 이질적인 사용자 입력을 지원하는 능력을 제한한다. 이 한계를 해결하기 위해, 동일한 카�mera 궤적을 설명하는 비디오, 포즈, 텍스트 입력을 공유 모션 임베딩(motion embedding) 공간에 매핑하는 모달리티 무관 카메라 제어 비디오 생성 프레임워크 TriMotion을 제시한다. 이러한 공간을 학습하려면 모달리티 간 동기화된 감독(supervision)이 필요하다. 따라서 Multi-Cam Video 데이터셋을 카메라 외부 파라미터(camera extrinsics)에서 유도된 기하학 기반(gr geometry-grounded) 모션 설명으로 확장하여 Motion Triplet 데이터셋을 구축한다. 또한 모션 임베딩 공간을 활용하여 생성된 비디오가 잠재 공간(latent space)에서 직접 목표 카메라 궤적을 따르도록 유도하고, 픽셀 공간 디코딩 비용을 피하는 잠재 모션 일관성(latent motion consistency) 목적 함수를 도입한다. 광범위한 실험 결과, TriMotion은 세 가지 모달리티 모두에서 목표 카메라 궤적을 정확히 따르는 고품질 비디오를 생성함을 보여준다. 표준 생성을 넘어, 공유 모션 임베딩 공간은 순차적 모션 합성(sequential motion composition) 및 교차 모달 모션 보간(cross-modal motion interpolation)과 같은 유연한 응용도 가능하게 한다.
인간은 밀리초 단위로 물리적으로 비타당한 사건을 식별할 수 있지만, 동일한 문제를 다루는 머신러닝 접근법은 극도로 느리고 비용이 많이 든다. 이들은 외부 멀티모달 LLM 심판자(judge)에 의존하거나 학습 절차에 임시방편적(ad-hoc) 수정을 요구한다. 본 연구에서는 물리적 타당성의 지표가 고정(frozen)된 이미지 인코더가 생성한 프레임별(per-frame) 임베딩(embedding)의 다섯 가지 기하학적 특성에 암묵적으로 담겨 있다고 주장한다. 이를 종합해 GEOPHYS라고 부른다. 첫째, 이러한 신호가 두 가지 형태의 객체 영속성(object-permanence) 위반에 대한 인간 EEG 반응과 상관관계가 있음을 보인다. 둘째, GEOPHYS는 물리적으로 비타당한 영상과 현실적인 영상을 견고하게 구별하여 LikePhys에서 98.3%, IntPhys2에서 93.3%의 최첨단 물리 위반 탐지 성능을 달성하는 반면, V-JEPA 2, GPT-4o, Gemini 및 12개의 최신 영상 diffusion 모델은 거의 우연 수준에 그친다. 셋째, 영상 생성 중 물리적 정렬(physical alignment)을 위한 best-of-N 검증기(verifier)로 사용될 때 GEOPHYS는 PhysicsIQ에서 MAGI-1 24B의 성능을 50.01%에서 64.50%로 끌어올리며, V-JEPA 2 세계 모델(world-model) 검증기 대비 벽시계(wall-clock) 시간 1.5배, 메모리 4.65배 적게 사용한다. 궁극적으로 GEOPHYS는 이미지 인코더에서 추출한 시간적(temporal) 특징의 창발적(emergent) 기하학적 특성을 활용하여 영상의 물리적 타당성을 평가할 수 있음을 보여준다.
The user wants a JSON translation. Let me provide the final polished Korean translation.
{
"title_ko": "신경망 코덱 래퍼를 위한 투영 기반 대리 그래디언트 해석",
"abstract_ko": "신경망 래퍼는 기존 비디오 코덱의 성능을 향상시키기 위해 설계된, 학습 가능한 전처리 및 후처리 네트워크이다. 이러한 접근법은 압축 효율을 크게 개선할 수 있지만, 인코딩 과정에 수반되는 다수의 이산적 결정으로 인해 비디오 코덱이 미분 불가능하여 학습이 여전히 어렵다. 최근 대리 그래디언트(surrogate gradient)는 기존 코덱과의 end-to-end 학습을 가능하게 하는 효과적인 해결책으로 등장했다. 이는 코덱을 모방하기 위한 추가 네트워크를 학습할 필요가 없다는 점과 압축 성능을 개선할 수 있다는 두 가지 주요 장점을 제공한다. 특히 실제 압축 오류를 활용하는 최근 제안된 SCALED 방법은 다운스케일러(downscaler)와 같은 신경망 전처리기 학습에서 강력한 결과를 보였다. 그러나 이 SCALED 그래디언트는 원래 reparameterization trick으로 도입되어 해석 가능성이 제한된다. 본 논문에서는 이 대리 그래디언트가 비디오 코덱의 1차 국소 근사(first-order local approximation)로 해석될 수 있음을 보이며, 이를 통해 그 효과에 대한 통찰을 제공한다. 또한 이는 다운스케일링 연산 학습뿐만 아니라 전처리 및 후처리 네트워크를 포함한 완전한 신경망 래핑이라는 더 어려운 과제에서도 효과적임을 입증한다. 마지막으로, 이 접근법이 서로 다른 비디오 코덱, 품질 계수(quality factor), 다중 다운스케일링 비율을 포함한 다양한 과제에 잘 일반화되며, 표준 리샘플링 베이스라인 대비 x264에서 최대 -23.59%, VVenC에서 -20.07%의 BD-Rate(PSNR) 감소를 달성함을 보인다."
}
월드 모델은 인공 일반 지능(AGI)으로 향하는 결정적인 단계로 점차 간주되고 있으나, 물리적 세계를 모델링하는 것은 요청 시 그럴싸한 프레임을 렌더링하는 것 이상을 요구합니다. 이는 관찰과 독립적으로 시간이 지남에 따라 계속 진화하는 내부 세계 상태가 필요하므로, 카메라가 보고 있든 아니든 객체가 존속하고 사건이 결말로 치닫게 됩니다. 이는 아무도 보지 않을 때 달이 궤도를 유지하는 것과 같습니다. 이 요구 사항은 기존 벤치마크의 사각지대입니다. 기존 벤치마크는 충실도, 모션, 카메라 제어 가능성과 같은 표면적 속성에는 보상을 주면서, 생성된 세계가 관찰되지 않은 후에도 계속 진화하는지에 대해서는 묻지 않습니다. 우리는 카메라 움직임을 관찰 가능성에 대한 개입으로 취급하고, 카메라가 요청된 상호작용을 실행하는지, 시야에 있는 동안 장면이 연속적이고 식별 가능한지, 그리고 재등장하는 대상이 시작된 사건과 여전히 일치하는지를 묻는 인간이 보정한 평가 단계로 평가를 수행하는 첫 번째 체계적인 진단 벤치마크인 **WRBench**를 소개합니다. 4가지 제어 패러다임에 걸친 23개 모델의 9,600개 비디오에 걸쳐, 한 가지 발견은 변함없이 드러납니다. 현재 시스템은 관찰된 세계를 트래킹 샷처럼 유지하며, 보이지 않는 동안 사건을 진행시키는 대신 방치되었던 상태 그대로 재등장하는 대상을 재개합니다. 이러한 실패는 제어 패러다임, 모델 계열, 규모의 증가에 걸쳐 반복되므로, 견고한 세계 상태 진화는 더 깨끗한 이미지, 더 정교한 제어, 더 풍부한 기하학적 사전 지식(priors), 또는 단순한 매개변수 수에서 비롯되지 않습니다. 따라서 우리는 물리적 상태 커널의 안정성과 시점 개입 하에서의 월드라인(worldlines) 일관성이 월드 모델 설계의 최우선 목표가 되어야 한다고 주장합니다. 그래야 월드 모델이 다음 프레임이 어떻게 나타나는지가 아니라 세계가 어떻게 전개될지를 포착할 수 있습니다.
깨끗한 픽셀 기반 보상(reward) 모델을 사용하여 비디오 생성을 평가하는 것은 평가를 노이즈가 많은 디퓨전 과정과 단절시키며 막대한 VAE 디코딩 비용을 초래합니다. 본 논문에서 우리는 근본적인 질문을 던져 이 패러다임에 도전합니다: 강력한 비디오 생성기는 노이즈가 섞인 잠재(latent) 표현에서 직접 선호를 본질적으로 판별할 수 있을까요? 이에 답하기 위해 우리는 PRISM(디퓨전 모델 중간 상태의 선호 표현)을 소개합니다. PRISM은 노이즈가 섞인 잠재 표현에서 선호 신호를 디코딩하기 위해 경량의 쿼리 기반 집계 헤드와 동결된 비디오 디퓨전 백본을 활용합니다. 놀랍게도 PRISM은 최첨단(SOTA) 선호 정확도를 달성할 뿐만 아니라 강력한 노이즈 강건성(robustness)을 발휘하여 초기 단계 Best-of-$N$ 샘플링을 가능하게 합니다. 이를 통해 디노이징의 막 시작 단계에서 준최적 후보군을 필터링할 수 있어, 비디오 품질을 향상시키면서 계산량을 획기적으로 줄일 수 있습니다. 또한 우리는 백본의 생성 성능과 그 본질적인 평가 능력 사이의 강한 양의 상관관계를 밝혀내어, 자기 개선(self-improving) 비디오 백본을 가능하게 합니다.
비디오 월드 모델은 제어 가능한 카메라 및 객체 움직임 아래 관측된 세계를 보존하면서도 환경 상태가 변하도록 허용하는 방향으로 발전하고 있다. 그러나 이러한 제어는 여전히 분리되어 있으며, 날씨 생성은 일반적으로 미래 구조를 이미 지정하는 소스 비디오 또는 재구성된 장면에 의존한다. 우리는 첫 프레임 고정(first-frame-anchored) source-to-state 설정을 연구한다. 여기서 모델은 단일 이미지에서 시작하여 명시적인 카메라 및 객체 제어와 선택적 날씨 지시를 따른 뒤, 소스 세계를 보존하거나 대상 날씨 상태로 전이하는 비디오를 생성한다. 이러한 과제를 해결하기 위해, 먼저 HoloStateData를 구축한다. 이는 다양한 비디오를 카메라, 객체, 날씨 지도를 위한 통합 제어 샘플로 변환하는 상태 비디오 데이터셋이다. 둘째, 단일 이미지로부터 장면을 공동 제어하는 통합 제어 가능 비디오 월드 모델인 Holo-World를 제안한다. Unified Scene Adapter는 세계 보존과 날씨 전이를 서로 다른 매개변수 부분공간으로 인수분해하며, 렌더링된 배경, 기하학 버퍼, 객체 제어를 사용하여 제어된 장면 구조를 유지하면서 날씨 의존적 외관과 입자 효과를 모델링한다. 또한 Scene-Weather Decomposed CFG는 장면과 날씨 잔차를 별도로 유도하여, 전체 조건을 과도하게 증폭하지 않으면서 대상 날씨 효과를 강화한다. 정량적 및 정성적 실험은 Holo-World가 일관된 장면 구조와 함께 정밀한 카메라 및 객체 제어를 유지하면서 장면을 다양한 대상 날씨 상태로 전이하며, 날씨 상태 생성에서 비디오-대-비디오 날씨 편집 기준선들을 능가함을 보여준다. 프로젝트 페이지는 \url{https://xiangchenyin.github.io/Holo-World/}에서 확인할 수 있다.
전통적인 애니메이션 제작은 키포즈 디자인, 인비트윈(in-betweening), 캐릭터 채색과 같은 작업에 있어 수동 그리기와 반복적인 수정에 크게 의존합니다. 기존 애니메이션 및 비디오 생성 방법들은 눈에 띄는 진전을 이루었지만, 일반적으로 RGB 경계 프레임, 조밀한 프레임 단위 조건, 또는 완전한 스케치 시퀀스에 의존하므로 저비용 입력 조건에서의 적용 가능성이 제한됩니다. 우리는 희소한 키 스케치 입력으로부터 구조적으로 제어 가능하고, 외관이 일관되며, 시간적으로 일관성 있는 애니메이션을 생성하기 위한 비디오 디퓨전 프레임워크인 SketchKeyAnime를 제안합니다. 단일 참조 RGB 이미지와 시간 인덱스가 지정된 몇 개의 키 스케치가 주어지면, SketchKeyAnime는 국소 기하학적 제약 조건과 의미-시간적 컨텍스트를 함께 인코딩하기 위해 이중 분기 조건 메커니즘을 도입합니다. 이는 학습 가능한 게이팅(gating)을 통해 참조 이미지와 스케치 조건을 융합하기 위해 Sketch Cross 어텐션(attention)을 활용하고, 키 스케치 프레임 및 선화(line-art) 영역에 대한 감독(supervision)을 강화하기 위해 적응형 가중 손실(Adaptive Weighted Loss)을 통합합니다. Sakuga-42M의 Aesthetic 서브셋에 대한 실험 결과, 우리의 접근 방식이 대표적인 애니메이션 보간 및 스케치 기반 생성 기준선(baselines)을 일관되게 능가함을 보여줍니다. 가장 성능이 좋은 기준선(baseline)과 비교했을 때, SketchKeyAnime는 EDMD를 31.9%, FVD를 9.5% 감소시켜 우수한 스케치 충실도와 시간적 일관성을 입증했으며, 대부분의 정량적 지표에서 최고의 전반적인 성능을 달성했습니다. 이러한 결과는 제안된 프레임워크를 검증하고 저비용 및 고도로 제어 가능한 애니메이션 창작에 대한 잠재력을 강조합니다.
자율 수술을 위한 로봇 정책 학습을 확장하는 것은 어렵습니다. 전문가 시연(demonstrations)은 비용이 많이 들고 생체 내(in vivo) 탐험은 상당한 안전성 위험을 초래하기 때문입니다. 수술 세계 모델은 초기 관찰로부터 현실적이고 행동 조건화된 미래 프레임을 생성하여 이 문제를 해결하지만, 기존 방법들은 두 가지 지속적인 실패 모드를 보입니다. 첫 번째는 공간적 상호작용 비일관성으로, 가시적인 기구 접촉이 공간적으로 일관된 조직 변형을 유발하지 못하는 현상이며, 두 번째는 시간적 충실도 붕괴로, 예측 오류가 자기회귀 롤아웃(rollouts)에 걸쳐 누적되어 시각적 품질을 점진적으로 저하시키는 현상입니다. 본 논문에서는 SurgVista를 제안합니다. 이는 두 가지 학습 레시피를 통해 이러한 실패 모드들을 모두 완화하는 수술 세계 모델입니다. 변형 일관성 정규화(Regularization)는 학습 비디오에서 장면 점 궤적(trajectories)을 추출하고 잠재 대조 학습(contrastive learning)을 통해 프레임 간 일관성을 강제하여 물리적으로 일관된 기구-조직 역학(dynamics)을 강화합니다. 드리프트 적응 학습(Training)은 온라인 예측 잔차(residuals)와 장기 드리프트 통계에 보정된 광도 증강(augmentations)을 사용하여 조건부 프레임에 섭동(perturbation)을 가함으로써 장기 드리프트를 완화하고, 확장된 롤아웃(rollouts) 동안 시각적 충실도를 유지합니다. 엄밀한 평가를 위해 다양한 절차 유형, 장거리 롤아웃(rollouts), 기구 운동 정확도 및 조직 반응 충실도에 대한 분리된 지표(metrics)를 특징으로 하는 SurgWorld-Bench를 추가로 소개합니다. 광범위한 실험 결과, SurgVista는 시각적 품질, 시간적 일관성, 상호작용 충실도 측면에서 최첨단 방법들을 일관되게 능가하며, 예측 수평(horizon)이 길어질수록 그 성능 격차가 더욱 벌어지는 것으로 나타났습니다.
참조 비디오의 카메라 모션을 새로 생성된 비디오로 이전하면 크리에이터가 시네마틱한 연출을 재사용할 수 있습니다. 그러나 참조 영상과 타겟 영상은 종종 호환되지 않는 스케일(예: 은하계를 가로지르는 스윕(sweep)과 책상 위를 미세하게 밀어내는 동작)을 가지며, 복구된 궤적을 단순히 재사용하면 미미하거나 과도하게 과장된 모션이 나타납니다. 우리는 이 원인이 기하학적 사실에 있음을 밝혀냈습니다: 이동(translation)에 의한 이미지 모션은 ||T||/Z 비율로 스케일링되므로, 단안(monocular) 궤적은 깊이-스케일 게이지(depth-scale gauge)까지만 의미를 가집니다. 우리는 이를 시차 수(Parallax Number) $\Pi = ||\Delta T|| / \bar{Z}$로 정제하였습니다. 이는 카메라 움직임이 주는 느낌의 강도를 나타내는 무차원(dimensionless)이며 게이지 불변(gauge-invariant)인 디스크립터로, 스케일에 충실한 이전이 보존해야 할 양은 원시 궤적이 아닌 이 시차 수임을 증명합니다. ParaScale은 모든 참조 비디오에서 $\Pi$를 읽어내고, 회전은 그대로 둔 채 매 프레임마다 타겟 장면 자체의 깊이(depth)에 맞춰 이를 재구현하는 플러그 앤 플레이(plug-and-play) 모듈입니다. 포즈 추출(pose extraction)과 포즈 주입(pose injection) 사이에 위치하므로 재학습이 필요 없으며, 모든 포즈 조건부 생성기(pose-conditioned generator)에 즉시 적용할 수 있습니다. 또한, 우리는 시차 일관성 오류(Parallax Consistency Error, PCE)를 소개합니다. 이는 유사도 정렬(similarity-aligned)된 TransErr와 달리 장면 스케일(scene-scale) 불일치를 드러내는 스케일 대칭(scale-symmetric) 메트릭입니다. 4자릿수에 달하는 스케일 범위와 여러 백본(backbone)에 걸친 실험에서, ParaScale은 구현된 시차를 항등선(identity line) 위에 유지하며, 시각적 충실도(visual fidelity)의 손실 없이 보정되지 않은 이전(uncalibrated transfer) 대비 PCE를 3배 이상 감소시켰습니다.