StoryBlender: 시공간적 역학을 통한 샷 간 일관성과 편집 가능성을 갖춘 3D 스토리보드
StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-temporal Dynamics
한국어 초록
스토리보딩은 영화, 애니메이션, 게임을 위한 시각적 스토리텔링의 핵심 기술입니다. 그러나 이 과정을 자동화하려면 기존 접근법들이 동시에 만족하기 어려웠던 두 가지 속성인 샷 간 일관성(inter-shot consistency)과 명시적 편집 가능성(explicit editability)을 달성해야 합니다. 2D 확산 모델(diffusion) 기반 생성기는 생생한 이미지를 생성하지만 기하학적 제어가 제한적이며 정체성 변화(identity drift) 문제를 겪기 쉽습니다. 반대로 기존의 3D 애니메이션 워크플로는 일관되고 편집 가능하지만 전문가 의존적이며 많은 노동력을 요구합니다. 본 논문에서는 스토리 중심 리플렉션 방식(Story-centric Reflection Scheme)으로 제어되는 그라운디드 3D 스토리보드 생성 프레임워크인 StoryBlender를 제시합니다. StoryBlender 시스템의 핵심은 세 단계 파이프라인으로 구성됩니다: (1) 장기적 일관성을 위해 전역 에셋과 샷별 변수를 분리하여 연속성 메모리 그래프를 구축하는 의미론적-공간적 그라운딩(Semantic-Spatial Grounding), (2) 시각적 정체성을 유지하기 위해 통합된 좌표 공간에서 개체를 인스턴스화하는 표준 에셋 구체화(Canonical Asset Materialization), (3) 시각적 지표를 통해 레이아웃 디자인과 영화적 전개를 달성하는 시공간적 역학(Spatial-Temporal Dynamics). StoryBlender는 검증 루프 내에서 여러 에이전트(agent)를 계층적으로 조율함으로써, 엔진 검증 피드백을 통해 공간적 환각(hallucination)을 반복적으로 자체 수정합니다. 그 결과 생성된 네이티브 3D 장면은 흔들림 없는 다중 샷 연속성을 유지하면서도 카메라와 시각적 에셋의 직접적이고 정밀한 편집을 지원합니다. 실험을 통해 StoryBlender가 확산 모델 기반 및 3D 그라운디드 베이스라인 모두에 비해 일관성과 편집 가능성을 크게 개선함을 입증합니다. 코드, 데이터 및 시연 비디오는 https://engineeringai-lab.github.io/StoryBlender/ 에서 확인할 수 있습니다.
원문 초록
Storyboarding is a core skill in visual storytelling for film, animation, and games. However, automating this process requires a system to achieve two properties that current approaches rarely satisfy simultaneously: inter-shot consistency and explicit editability. While 2D diffusion-based generators produce vivid imagery, they often suffer from identity drift along with limited geometric control; conversely, traditional 3D animation workflows are consistent and editable but require expert-heavy, labor-intensive authoring. We present StoryBlender, a grounded 3D storyboard generation framework governed by a Story-centric Reflection Scheme. At its core, we propose the StoryBlender system, which is built on a three-stage pipeline: (1) Semantic-Spatial Grounding, to construct a continuity memory graph to decouple global assets from shot-specific variables for long-horizon consistency; (2) Canonical Asset Materialization, to instantiate entities in a unified coordinate space to maintain visual identity; and (3) Spatial-Temporal Dynamics, to achieve layout design and cinematic evolution through visual metrics. By orchestrating multiple agents in a hierarchical manner within a verification loop, StoryBlender iteratively self-corrects spatial hallucinations via engine-verified feedback. The resulting native 3D scenes support direct, precise editing of cameras and visual assets while preserving unwavering multi-shot continuity. Experiments demonstrate that StoryBlender significantly improves consistency and editability over both diffusion-based and 3D-grounded baselines. Code, data, and demonstration video are available on https://engineeringai-lab.github.io/StoryBlender/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Consistent Story Generation with Asymmetry Zigzag Sampling
StoryReasoning Dataset: Using Chain-of-Thought for Scene Understanding and Grounded Story Generation
FLIP Reasoning Challenge
FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations
Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond
Alfie: Democratising RGBA Image Generation With No $$$
토론
이 논문과 연결된 포럼 글이 아직 없습니다.