Code World Model 2.0: 길이 제한 없는 제어 가능 비디오 생성을 향해
Code World Model 2.0: Towards Infinite Controllable Video Generation
한국어 초록
시각적 대리 표현은 명시적인 월드 상태 시뮬레이션과 실사 수준의 영상 합성을 분리한다. 이를 통해 오프라인 영상 제작과 실시간 대화형 스트리밍을 제어할 수 있다. 실제로 사용할 렌더러에는 두 가지 과제가 있다. 앞 단계에서 오는 대리 표현은 상호작용에 따라 대략적인 배치부터 관절 움직임을 표현한 세밀한 기하 구조까지 다양하다. 스트리밍 추론은 적은 수의 인과적 단계만 사용하면서도 자체 생성한 이력에 드리프트가 누적되지 않아야 한다. 구조적 대리 표현, 외관 참조, 언어를 공통 조건으로 받아들이는 Invoker-Render를 제안한다. 양방향 영상 생성 모델과 인과적 4단계 스트리밍 모델을 결합한다. 서로 정렬된 약 200시간 분량의 여러 세분화 수준의 말뭉치로 학습했다. 세밀한 기하 제약이 주어지면 이를 따르고, 대략적인 대리 표현만 주어지면 그럴듯한 국소 움직임을 생성한다. 따라서 실행 중 입력의 세부 수준을 선택할 수 있다. 생성 단계 압축과 롤아웃 드리프트가 겹치지 않으면서 양방향 생성과 실시간 스트리밍을 연결하기 위해 점진적 포싱(ProForcing)을 도입한다. 먼저 인과적 예측기를 학습하고 학습 영상에서 만든 이력을 사용해 4단계 렌더러로 증류한다. 이후 학습에서 연속적으로 자체 생성한 롤아웃을 사용한다. 파이프라인 방식의 서빙 시스템으로 스트리밍 추론을 효율적으로 수행한다. 실험에서는 다양한 대리 표현 유형, 세부 수준, 카메라 경로에서 제어할 수 있었고 최근 스트리밍 기준선보다 일관되게 나은 결과를 보였다. 30분 길이의 레이싱 롤아웃에서도 장면과 피사체의 외관을 안정적으로 유지했다.
원문 초록
Visual proxies decouple explicit world-state simulation from photorealistic video synthesis, offering a controllable interface for both offline clip creation and real-time interactive streaming. Yet a practical renderer must address two challenges. Upstream proxies vary from coarse layouts to fine articulated geometry depending on the interaction, and streaming inference must operate in a few causal steps without accumulating drift across self-generated history. We present Invoker-Render, pairing a bidirectional creation model with a causal four-step streaming model under a shared conditioning interface over structural proxies, an appearance reference, and language. Trained on an aligned approximately 200-hour multi-granularity corpus, Invoker-Render honors fine geometric constraints when supplied while synthesizing plausible local motion under coarse proxies, enabling runtime selection of input detail. To bridge bidirectional creation and real-time streaming without compounding step compression and rollout drift, we introduce Progressive Forcing (ProForcing). ProForcing first trains a causal predictor and distills it into a four-step renderer using histories derived from training videos. Training then shifts to continuous self-generated rollouts. A pipelined serving stack supports efficient streaming inference. Experiments show versatile control across proxy families, granularities, and camera paths, consistent gains over recent streaming baselines, and stable 30-minute racing rollouts that preserve scene and subject appearance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22925v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.