WorldDraft: 코드가 세계를 만든다면, 비디오 모델은 그것을 렌더링하기만 하면 되는가?
WorldDraft: If Code Builds the World, Can Video Models Just Render It?
한국어 초록
멀티모달 코딩 에이전트는 4D 세계 구성을 시각 생성과 분리하여, 비디오 모델의 역할을 세계 생성기에서 생성적 렌더러로 전환한다. 이러한 역할 분담은 근본적인 질문을 제기한다. 코드가 세계를 만든다면, 비디오 모델은 그것을 렌더링하기만 하면 되는가? 신뢰할 수 있는 생성적 렌더러는 두 가지 상호 보완적인 기준에 달려 있다. (i) 규정된 4D 운동학과 카메라 경로를 유지하는 세계 보존, (ii) 텍스트로 지정된 대상 속성을 시간에 걸쳐 지속적으로 결합하는 시각적 구현이다. 이 능력을 평가하기 위해 우리는 여섯 가지 동적 난이도 범주에 걸친 48개의 실행 가능한 4D 세계 계열에서 엄격하게 짝지어진 $432$개의 테스트 케이스로 구성된 벤치마크 WorldDraft를 소개한다. $3 \times 3$ 요인 설계 하에서 WorldDraft는 동일한 동역학 아래 초안의 세분성(추상적 프록시에서 프리비즈까지)과 외형 정렬(중립에서 상충까지)을 직교적으로 교차시킨다. $12$개의 대표 모델에 대한 광범위한 평가는 다음을 보여 준다. (I) 세계 보존과 시각적 구현은 여전히 운용상 뚜렷한 긴장 관계에 있다. (II) 더 풍부한 초안 스캐폴딩은 구조를 고정하지만 역설적으로 외형 충실도를 해친다. (III) 상충하는 소스 단서는 심각한 소스 누출(최대 $64\%$)을 유발하여 취약한 교차 모달 분리를 드러낸다. 이러한 병목을 완화하기 위해 우리는 고정된 비디오 렌더러 전반에서 두 목표를 모두 일관되게 개선하는 플러그 앤 플레이 방식의 시각적 프롬프팅 전략인 WorldDraft-Primer를 제안한다. WorldDraft와 WorldDraft-Primer는 함께 프로그램 기반 4D 시뮬레이션과 비디오 생성을 연결하는 토대를 마련하며, 물리적으로 근거 있는 생성적 렌더링을 발전시킨다.
원문 초록
Multimodal coding agents decouple 4D world construction from visual generation, repurposing video models from world generators toward generative renderers. This division of labor raises a fundamental question: if code builds the world, can video models just render it? A reliable generative renderer hinges on two complementary criteria: (i) world preservation, retaining prescribed 4D kinematics and camera paths; and (ii) visual realization, persistently binding text-specified target attributes over time. To evaluate this capability, we introduce WorldDraft, a benchmark of $432$ strictly paired test cases across $48$ executable 4D world families spanning six dynamic challenge categories. Under a $3 \times 3$ factorial design, WorldDraft orthogonally crosses draft granularity (abstract proxy to previs) and appearance alignment (neutral to conflicting) under identical dynamics. Extensive evaluations across $12$ representative models reveal that: (I) world preservation and visual realization remain in stark operational tension; (II) richer draft scaffolding anchors structure but paradoxically impairs appearance fidelity; and (III) conflicting source cues trigger severe source leakage (up to $64\%$), exposing fragile cross-modal disentanglement. To mitigate these bottlenecks, we propose WorldDraft-Primer, a plug-and-play visual prompting strategy that consistently improves both objectives across frozen video renderers. Together, WorldDraft and WorldDraft-Primer lay a foundation for bridging programmatic 4D simulation with video generation, advancing physically grounded generative rendering.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.16217v2제출 시각 미확인
- arXiv:2611.16217v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.