PROWBench: 비디오 모델은 프로그램이 지정한 내용을 그대로 렌더링하는가?
ROWBench: Do Video Models Render What the Program Specifies?
한국어 초록
프로그래밍 가능한 월드 모델(programmable world model)은 실행 가능한 역학(dynamics)을 시각적 생성과 분리하여 차세대 게임 엔진을 위한 유망한 기반을 제공합니다. 그러나 명시적인 규칙 및 상호작용에 대한 시각적 준수 여부는 여전히 충분히 평가되지 않았습니다. 기존 벤치마크는 시각적 품질, 제어 가능성, 명령어 또는 물리적 법칙 준수를 평가하지만, 프로그램으로 지정된 세분화된 월드 이벤트에 대한 충실도를 테스트하는 경우는 드뭅니다. 본 논문에서는 다양한 장면과 상호작용을 포괄하는 170개의 프로그래밍 방식으로 구성된 에피소드와 600개의 프록시 비디오로 이루어진 PROWBench를 소개합니다. PROWBench는 카메라 시야각 밖의 이벤트를 포함하여 엔티티 상태와 타임스탬프가 지정된 이벤트를 재생 가능한 월드 기록으로 로깅하며, 이를 바탕으로 동기화된 뷰와 프록시 표현을 렌더링합니다. 이를 통해 생성된 비디오를 프로그램 실행의 관찰 가능한 결과와 대조하여 검증할 수 있습니다. 확장 가능한 프레임워크는 장면을 구성하고 행동을 제어하며, 각 카메라 뷰를 대략적인 3D 및 바운딩 박스와 같은 서로 다른 표현 방식으로 렌더링할 수 있습니다. 이 벤치마크는 1인칭 및 3인칭 시점을 모두 다루며, 일부 에피소드에 대해서는 동기화된 다중 뷰 관측도 제공합니다. 이러한 기록에 기반하여 PROWBench는 엔티티 제어, 장기 기억(long-horizon memory)을 평가하며, 두 가지 VLM 기반 지표인 Logic-Render Alignment와 Interaction Success Rate를 통해 정해진 타임라인 준수 여부 및 엔진에 기록된 타임스탬프 이벤트의 시각적 구현 여부를 평가합니다.
원문 초록
Programmable world models separate executable dynamics from visual generation, offering a promising foundation for next-generation game engines. However, their visual adherence to explicit rules and interactions remains insufficiently evaluated. Existing benchmarks assess visual quality, controllability, and instruction or physical adherence, but rarely test fidelity to fine-grained, program-specified world events. We introduce PROWBench, comprising 170 programmatically constructed episodes and 600 proxy videos covering diverse scenes and interactions. PROWBench logs entity states and timestamped events, including those outside the camera's field of view, as replayable world records, from which it renders synchronized views and proxy representations. This enables generated videos to be checked against the observable consequences of program execution. An extensible framework constructs scenes, controls behaviors, and can render each camera view in different representations, such as coarse 3D, and bounding boxes. The benchmark covers first- and third-person perspectives, with synchronized multi-view observations available for a subset of episodes. Grounded in these records, PROWBench evaluates entity control, long-horizon memory, and, with two VLM-based metrics, Logic-Render Alignment and Interaction Success Rate, adherence to the prescribed timeline and the visual realization of timestamped engine-recorded events.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PhysicsLENS: 비디오 생성 모델의 물리적 특성 맹점 진단
PhysicsLENS: Diagnosing Physical Property Blindness in Video Generation Models
신뢰할 수 있는 비디오 월드 모델은 로봇 학습, 계획, 평가(evaluation)를 위한 확장 가능한 예측 환경을 제공할 수 있습니다. 그러나 생성된 로봇 비디오는 물리 법칙을 위배하고 물리적으로 불가능한 행동을 통해 작업을 완료할 수 있어, 로봇 학습 및 계획에 대한 신뢰성을 제한합니다. 현재의 비디오 생성 벤치마크는 시각적으로 본질적으로 숨겨진 물리적 특성(예: 무게, 점성, 마찰)을 배제합니다. 이로 인해 비디오 모델은 물리 법칙의 내재적 정확성이 아닌 물리의 시각적 충실도만을 기준으로 평가됩니다. 본 논문에서는 로보틱스에 기반한(grounded) 물리적 특성의 타당성을 평가하기 위한 데이터셋(dataset)이자 벤치마크인 PhysicsLENS를 소개합니다. PhysicsLENS는 동일한 조건 프레임과 작업을 유지하면서 장면 설명에서 내재된 물리적 특성을 변화시키는 매칭된 시나리오 쌍을 사용합니다. 시나리오는 공개 로봇 비디오 소스에서 선별되었으며 충돌, 중력, 모멘텀, 마찰, 변형, 유체, 인과관계의 7가지 물리 도메인에 걸쳐 주석이 달렸습니다. 4개의 비디오 생성 모델에 걸쳐 평가를 수행하여 400개 이상의 인간 주석 레이블을 생성했습니다. 실험 결과, 그럴듯해 보이는 비디오도 명시된 물리적 특성을 무시하는 경우가 많았으며(47개 중 34개), 특성을 명시하더라도 타당성은 미미하게만 낮아질 뿐 유의미한 차이를 보이지 않는 것으로 나타났습니다.
TextVBench: 비디오 생성에서 텍스트 렌더링과 보존 평가
TextVBench: Evaluating Text Rendering and Preservation in Video Generation
현대의 비디오 생성 모델은 설득력 있는 장면을 합성하면서도 일부 문자를 잘못 렌더링하거나, 요청된 텍스트를 생략하거나, 프레임 간에 텍스트를 변경하는 경우가 있다. 이러한 실패를 측정하는 것은 각 프레임에 독립적으로 OCR을 적용하는 것보다 어려운데, 장면에 여러 텍스트 대상과 여러 노이즈가 섞인 OCR 영역이 포함된 경우 평가자는 먼저 어떤 관측 결과가 어떤 의도된 텍스트에 속하는지 결정해야 하기 때문이다. 우리는 시각적 텍스트 평가를 다중 대상, 다중 인스턴스의 시공간적 대응 문제로 정식화한 벤치마크 및 평가 프레임워크인 TextVBench를 소개한다. TextVBench는 두 개의 상호 보완적인 트랙으로 구성된다: TextVBench-T2V는 프롬프트(prompt)로 지정된 텍스트의 생성과 유지를 측정하며, TextVBench-Ref2V는 참조 이미지로부터의 텍스트 보존을 측정한다. 두 트랙 모두 제약이 없는 VLM 전사(transcription) 대신 대상 조건화된 후보 선택 방식을 사용하고, 하나의 대상이 여러 OCR 영역에 매핑되는 것을 지원하며, 프레임 수준의 공간적 충실도와 프레임 간 시간적 충실도를 분리한다. 길이 가중 조화 점수(length-weighted harmonic score)가 이러한 요소들을 종합하며, 추가 텍스트(extra-text) 진단은 단일 OCR 점수로는 드러나지 않는 실패 모드를 노출한다. 이 벤치마크는 통제된 텍스트, 레이아웃, 캐리어, 모션 속성을 중심으로 구성되어 있어, 종합 점수를 특정 역량 한계로 추적할 수 있다. 평가된 모델(model) 실행 전반에서 MiniMax-H3는 T2V TextVScore 68.32를 달성했으며, 가장 높은 Ref2V 점수는 56.51이었다. 속성별 분석에서는 동시에 존재하는 참조 텍스트 영역의 수가 증가할수록 점수가 두드러지게 하락하는 것으로 나타났다.
BabelFake: 다국어 시청각 딥페이크 벤치마크
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.
공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화
Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화
SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭
SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.