PhysicsLENS: 비디오 생성 모델의 물리적 특성 맹점 진단
PhysicsLENS: Diagnosing Physical Property Blindness in Video Generation Models
한국어 초록
신뢰할 수 있는 비디오 월드 모델은 로봇 학습, 계획, 평가(evaluation)를 위한 확장 가능한 예측 환경을 제공할 수 있습니다. 그러나 생성된 로봇 비디오는 물리 법칙을 위배하고 물리적으로 불가능한 행동을 통해 작업을 완료할 수 있어, 로봇 학습 및 계획에 대한 신뢰성을 제한합니다. 현재의 비디오 생성 벤치마크는 시각적으로 본질적으로 숨겨진 물리적 특성(예: 무게, 점성, 마찰)을 배제합니다. 이로 인해 비디오 모델은 물리 법칙의 내재적 정확성이 아닌 물리의 시각적 충실도만을 기준으로 평가됩니다. 본 논문에서는 로보틱스에 기반한(grounded) 물리적 특성의 타당성을 평가하기 위한 데이터셋(dataset)이자 벤치마크인 PhysicsLENS를 소개합니다. PhysicsLENS는 동일한 조건 프레임과 작업을 유지하면서 장면 설명에서 내재된 물리적 특성을 변화시키는 매칭된 시나리오 쌍을 사용합니다. 시나리오는 공개 로봇 비디오 소스에서 선별되었으며 충돌, 중력, 모멘텀, 마찰, 변형, 유체, 인과관계의 7가지 물리 도메인에 걸쳐 주석이 달렸습니다. 4개의 비디오 생성 모델에 걸쳐 평가를 수행하여 400개 이상의 인간 주석 레이블을 생성했습니다. 실험 결과, 그럴듯해 보이는 비디오도 명시된 물리적 특성을 무시하는 경우가 많았으며(47개 중 34개), 특성을 명시하더라도 타당성은 미미하게만 낮아질 뿐 유의미한 차이를 보이지 않는 것으로 나타났습니다.
원문 초록
Reliable video world models could provide scalable predictive environments for robot learning, planning, and evaluation. However, generated robot videos can violate physical principles and complete tasks through physically implausible behavior, limiting their reliability for robot learning and planning. Current video-generation benchmarks exclude physics that are inherently hidden by visuals (e.g., weight, viscosity, friction). Due to this, video models are evaluated on the fidelity of physics, not the underlying accuracy of physics. We introduce PhysicsLENS, a dataset and benchmark for evaluating plausibility of physical properties grounded in robotics. PhysicsLENS uses matched scenario pairs that hold the same conditioning frame and task, while varying underlying physics in the scene description. Scenarios are curated from public robot video sources and annotated across seven physical domains: collision, gravity, momentum, friction, deformation, fluid, and causality. We evaluate across four video generation models, producing over 400 human-annotated labels. Results show that plausible-looking videos often ignore the stated property (34 of 47), and that stating the property lowers plausibility only slightly and not significantly.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EVEWorld: 체화된 월드 모델을 위한 물리적 진화 지도
EVEWorld: Physical Evolution Supervision for Embodied World Models
체화된 월드 모델(embodied world model)은 로봇 학습을 위한 체화된 상호작용의 확장 가능한 시뮬레이션을 가능하게 합니다. 그러나 기존 모델들은 물리적 추론을 희생하면서 시각적 충실도에만 집중하고, 조작되는 물체의 시간적 역학에 대한 프로세스 수준의 지도가 부족하여 '모델 나태함(Model Laziness)' 현상이 발생하기 쉽습니다. 본 연구에서는 물리적으로 일관된 목표 진화를 위한 물리적 진화 지도 프레임워크인 EVEWorld를 제안합니다. EVEWorld는 인스턴스 유도 복원(Instance-Guided Restoration, IGR)과 시간적 인스턴스 정렬(Temporal Instance Alignment, TIA)의 두 가지 구성 요소로 이루어져 있습니다. 첫째, IGR은 복원 지도를 통해 인스턴스 일관성을 촉진합니다. 둘째, TIA는 인접 프레임 간의 대상 인스턴스를 정렬함으로써 프레임 간 일관성을 향상시킵니다. 나아가 생성된 궤적에서 인스턴스 일관성의 지속적인 위반을 측정하는 지표인 모델 나태율(Model Laziness Rate, MLR)을 도입합니다. DreamGenBench, EWMBench, PBench에 대한 광범위한 실험을 통해 EVEWorld의 효과를 입증하였으며, 특히 GigaWorld-0 대비 MLR을 87.5% 감소시켰습니다. 또한 WorldArena 2.0 Track 1 리더보드에서 본 모델은 JEPA 유사도 6위, 종합 17위를 기록하여 진화 지도 전략의 성능을 더욱 검증했습니다.
HiPhy: 물리적으로 타당한 다중 물리 법칙 비디오 생성을 위한 계층적 정렬
HiPhy: Hierarchical Alignment for Physically-Plausible Multi-Principle Video Generation
비디오 생성 모델은 뛰어난 시각적 충실도를 달성하며 범용 월드 시뮬레이터로 발전할 강력한 잠재력을 지니고 있습니다. 이러한 발전에도 불구하고, 기존 모델들은 여전히 물리 법칙을 준수하는 비디오를 생성하는 데 실패합니다. 이 문제는 동일한 비디오 내에서 여러 물리적 원리가 복합적으로 작용해야 하는 현실적인 상황에서 더욱 두드러집니다. 예를 들어, "냄비에서 증기가 피어오르는 동안 풍선이 위로 떠오르는" 장면은 부력과 유체 역학이 동시에 일관되게 전개되어야 합니다. 그러나 기존 방법들은 비디오당 단일 원리에만 초점을 맞추며 다중 물리 법칙의 상호작용을 대체로 간과합니다. 본 논문에서는 비디오 생성을 물리 법칙에 그라운딩(grounding)하는 강화학습 프레임워크인 HiPhy(Hierarchical Physical Alignment)를 제안합니다. HiPhy는 개별 물리 법칙의 시간적 동역학을 국소적으로 강제하고, 전체 장면의 물리적 및 의미론적 일관성을 전역적으로 보장하는 이중 수준 목적 함수를 사용합니다. 다중 물리 법칙 생성을 지원하기 위해 5만 개의 프롬프트로 구성된 데이터셋을 구축하고, 동시에 발생하는 다양한 물리적 사건을 아우르는 프롬프트 벤치마크인 MultiPhyBench를 도입합니다. 실험 결과에 따르면, HiPhy는 이전 방법 및 베이스라인들을 크게 능가하며 다양한 벤치마크에서 물리적 상식과 의미론적 정렬을 대폭 향상시켰습니다. 특히 경쟁 방법들의 성능이 가장 급격히 저하되는 여러 물리 법칙이 동시에 발생하는 장면에서 가장 큰 성능 향상을 보였습니다.
PROWBench: 비디오 모델은 프로그램이 지정한 내용을 그대로 렌더링하는가?
ROWBench: Do Video Models Render What the Program Specifies?
프로그래밍 가능한 월드 모델(programmable world model)은 실행 가능한 역학(dynamics)을 시각적 생성과 분리하여 차세대 게임 엔진을 위한 유망한 기반을 제공합니다. 그러나 명시적인 규칙 및 상호작용에 대한 시각적 준수 여부는 여전히 충분히 평가되지 않았습니다. 기존 벤치마크는 시각적 품질, 제어 가능성, 명령어 또는 물리적 법칙 준수를 평가하지만, 프로그램으로 지정된 세분화된 월드 이벤트에 대한 충실도를 테스트하는 경우는 드뭅니다. 본 논문에서는 다양한 장면과 상호작용을 포괄하는 170개의 프로그래밍 방식으로 구성된 에피소드와 600개의 프록시 비디오로 이루어진 PROWBench를 소개합니다. PROWBench는 카메라 시야각 밖의 이벤트를 포함하여 엔티티 상태와 타임스탬프가 지정된 이벤트를 재생 가능한 월드 기록으로 로깅하며, 이를 바탕으로 동기화된 뷰와 프록시 표현을 렌더링합니다. 이를 통해 생성된 비디오를 프로그램 실행의 관찰 가능한 결과와 대조하여 검증할 수 있습니다. 확장 가능한 프레임워크는 장면을 구성하고 행동을 제어하며, 각 카메라 뷰를 대략적인 3D 및 바운딩 박스와 같은 서로 다른 표현 방식으로 렌더링할 수 있습니다. 이 벤치마크는 1인칭 및 3인칭 시점을 모두 다루며, 일부 에피소드에 대해서는 동기화된 다중 뷰 관측도 제공합니다. 이러한 기록에 기반하여 PROWBench는 엔티티 제어, 장기 기억(long-horizon memory)을 평가하며, 두 가지 VLM 기반 지표인 Logic-Render Alignment와 Interaction Success Rate를 통해 정해진 타임라인 준수 여부 및 엔진에 기록된 타임스탬프 이벤트의 시각적 구현 여부를 평가합니다.
TextVBench: 비디오 생성에서 텍스트 렌더링과 보존 평가
TextVBench: Evaluating Text Rendering and Preservation in Video Generation
현대의 비디오 생성 모델은 설득력 있는 장면을 합성하면서도 일부 문자를 잘못 렌더링하거나, 요청된 텍스트를 생략하거나, 프레임 간에 텍스트를 변경하는 경우가 있다. 이러한 실패를 측정하는 것은 각 프레임에 독립적으로 OCR을 적용하는 것보다 어려운데, 장면에 여러 텍스트 대상과 여러 노이즈가 섞인 OCR 영역이 포함된 경우 평가자는 먼저 어떤 관측 결과가 어떤 의도된 텍스트에 속하는지 결정해야 하기 때문이다. 우리는 시각적 텍스트 평가를 다중 대상, 다중 인스턴스의 시공간적 대응 문제로 정식화한 벤치마크 및 평가 프레임워크인 TextVBench를 소개한다. TextVBench는 두 개의 상호 보완적인 트랙으로 구성된다: TextVBench-T2V는 프롬프트(prompt)로 지정된 텍스트의 생성과 유지를 측정하며, TextVBench-Ref2V는 참조 이미지로부터의 텍스트 보존을 측정한다. 두 트랙 모두 제약이 없는 VLM 전사(transcription) 대신 대상 조건화된 후보 선택 방식을 사용하고, 하나의 대상이 여러 OCR 영역에 매핑되는 것을 지원하며, 프레임 수준의 공간적 충실도와 프레임 간 시간적 충실도를 분리한다. 길이 가중 조화 점수(length-weighted harmonic score)가 이러한 요소들을 종합하며, 추가 텍스트(extra-text) 진단은 단일 OCR 점수로는 드러나지 않는 실패 모드를 노출한다. 이 벤치마크는 통제된 텍스트, 레이아웃, 캐리어, 모션 속성을 중심으로 구성되어 있어, 종합 점수를 특정 역량 한계로 추적할 수 있다. 평가된 모델(model) 실행 전반에서 MiniMax-H3는 T2V TextVScore 68.32를 달성했으며, 가장 높은 Ref2V 점수는 56.51이었다. 속성별 분석에서는 동시에 존재하는 참조 텍스트 영역의 수가 증가할수록 점수가 두드러지게 하락하는 것으로 나타났다.
BabelFake: 다국어 시청각 딥페이크 벤치마크
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.
공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화
Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.