비디오 생성 모델은 뛰어난 시각적 충실도를 달성하며 범용 월드 시뮬레이터로 발전할 강력한 잠재력을 지니고 있습니다. 이러한 발전에도 불구하고, 기존 모델들은 여전히 물리 법칙을 준수하는 비디오를 생성하는 데 실패합니다. 이 문제는 동일한 비디오 내에서 여러 물리적 원리가 복합적으로 작용해야 하는 현실적인 상황에서 더욱 두드러집니다. 예를 들어, "냄비에서 증기가 피어오르는 동안 풍선이 위로 떠오르는" 장면은 부력과 유체 역학이 동시에 일관되게 전개되어야 합니다. 그러나 기존 방법들은 비디오당 단일 원리에만 초점을 맞추며 다중 물리 법칙의 상호작용을 대체로 간과합니다. 본 논문에서는 비디오 생성을 물리 법칙에 그라운딩(grounding)하는 강화학습 프레임워크인 HiPhy(Hierarchical Physical Alignment)를 제안합니다. HiPhy는 개별 물리 법칙의 시간적 동역학을 국소적으로 강제하고, 전체 장면의 물리적 및 의미론적 일관성을 전역적으로 보장하는 이중 수준 목적 함수를 사용합니다. 다중 물리 법칙 생성을 지원하기 위해 5만 개의 프롬프트로 구성된 데이터셋을 구축하고, 동시에 발생하는 다양한 물리적 사건을 아우르는 프롬프트 벤치마크인 MultiPhyBench를 도입합니다. 실험 결과에 따르면, HiPhy는 이전 방법 및 베이스라인들을 크게 능가하며 다양한 벤치마크에서 물리적 상식과 의미론적 정렬을 대폭 향상시켰습니다. 특히 경쟁 방법들의 성능이 가장 급격히 저하되는 여러 물리 법칙이 동시에 발생하는 장면에서 가장 큰 성능 향상을 보였습니다.
신뢰할 수 있는 비디오 월드 모델은 로봇 학습, 계획, 평가(evaluation)를 위한 확장 가능한 예측 환경을 제공할 수 있습니다. 그러나 생성된 로봇 비디오는 물리 법칙을 위배하고 물리적으로 불가능한 행동을 통해 작업을 완료할 수 있어, 로봇 학습 및 계획에 대한 신뢰성을 제한합니다. 현재의 비디오 생성 벤치마크는 시각적으로 본질적으로 숨겨진 물리적 특성(예: 무게, 점성, 마찰)을 배제합니다. 이로 인해 비디오 모델은 물리 법칙의 내재적 정확성이 아닌 물리의 시각적 충실도만을 기준으로 평가됩니다. 본 논문에서는 로보틱스에 기반한(grounded) 물리적 특성의 타당성을 평가하기 위한 데이터셋(dataset)이자 벤치마크인 PhysicsLENS를 소개합니다. PhysicsLENS는 동일한 조건 프레임과 작업을 유지하면서 장면 설명에서 내재된 물리적 특성을 변화시키는 매칭된 시나리오 쌍을 사용합니다. 시나리오는 공개 로봇 비디오 소스에서 선별되었으며 충돌, 중력, 모멘텀, 마찰, 변형, 유체, 인과관계의 7가지 물리 도메인에 걸쳐 주석이 달렸습니다. 4개의 비디오 생성 모델에 걸쳐 평가를 수행하여 400개 이상의 인간 주석 레이블을 생성했습니다. 실험 결과, 그럴듯해 보이는 비디오도 명시된 물리적 특성을 무시하는 경우가 많았으며(47개 중 34개), 특성을 명시하더라도 타당성은 미미하게만 낮아질 뿐 유의미한 차이를 보이지 않는 것으로 나타났습니다.
단안 3차원(3D) 장면 재구성은 최근 상당한 진전을 보였습니다. 최신 신경망 아키텍처와 대규모 데이터에 힘입어, 최근 방법들은 단일 이미지에서의 깊이 추정(depth estimation)에서 높은 성능을 달성하고 있습니다. 한편, 일반적인 장면을 개별 3D 객체로 재구성하고 분해하는 것은 다양한 객체 종류, 잦은 가림 현상(occlusion), 복잡한 객체 간 관계로 인해 여전히 어려운 과제로 남아 있습니다. 특히, 개별 객체의 형상 및 자세 추정을 넘어 로보틱스 및 애니메이션 분야의 응용에서는 객체가 상호 비침투성과 현실적인 접촉이라는 물리적 원리를 따르는 물리적으로 타당한 장면 재구성을 요구합니다. 본 연구에서는 두 가지 방향으로 객체 수준 장면 재구성을 발전시킵니다. 첫째, 어수선한 환경을 특징으로 하는 실제 장면을 담고 있으며 3D 객체 형상, 자세 및 정확한 객체 접촉 측면에서 고충실도 객체 수준 정답 레이블(ground truth)을 제공하는 새로운 데이터셋인 MessyKitchens를 소개합니다. 둘째, 단일 객체 재구성을 위한 최신 SAM 3D 접근법을 기반으로 하여, 이를 결합 객체 수준 장면 재구성을 위한 Multi-Object Decoder(MOD)로 확장합니다. 본 연구의 기여를 검증하기 위해, MessyKitchens가 정합 정확도(registration accuracy)와 객체 간 침투 측면에서 기존 데이터셋보다 크게 개선되었음을 보입니다. 또한 세 가지 데이터셋에서 다중 객체 재구성 접근법을 비교하여, MOD가 최신 기술(SOTA) 대비 일관되고 유의미한 성능 향상을 달성함을 입증합니다. 새로운 벤치마크, 코드 및 사전학습(pre-training) 모델은 프로젝트 웹사이트(https://messykitchens.github.io/)를 통해 공개될 예정입니다.
인간은 밀리초 단위로 물리적으로 비타당한 사건을 식별할 수 있지만, 동일한 문제를 다루는 머신러닝 접근법은 극도로 느리고 비용이 많이 든다. 이들은 외부 멀티모달 LLM 심판자(judge)에 의존하거나 학습 절차에 임시방편적(ad-hoc) 수정을 요구한다. 본 연구에서는 물리적 타당성의 지표가 고정(frozen)된 이미지 인코더가 생성한 프레임별(per-frame) 임베딩(embedding)의 다섯 가지 기하학적 특성에 암묵적으로 담겨 있다고 주장한다. 이를 종합해 GEOPHYS라고 부른다. 첫째, 이러한 신호가 두 가지 형태의 객체 영속성(object-permanence) 위반에 대한 인간 EEG 반응과 상관관계가 있음을 보인다. 둘째, GEOPHYS는 물리적으로 비타당한 영상과 현실적인 영상을 견고하게 구별하여 LikePhys에서 98.3%, IntPhys2에서 93.3%의 최첨단 물리 위반 탐지 성능을 달성하는 반면, V-JEPA 2, GPT-4o, Gemini 및 12개의 최신 영상 diffusion 모델은 거의 우연 수준에 그친다. 셋째, 영상 생성 중 물리적 정렬(physical alignment)을 위한 best-of-N 검증기(verifier)로 사용될 때 GEOPHYS는 PhysicsIQ에서 MAGI-1 24B의 성능을 50.01%에서 64.50%로 끌어올리며, V-JEPA 2 세계 모델(world-model) 검증기 대비 벽시계(wall-clock) 시간 1.5배, 메모리 4.65배 적게 사용한다. 궁극적으로 GEOPHYS는 이미지 인코더에서 추출한 시간적(temporal) 특징의 창발적(emergent) 기하학적 특성을 활용하여 영상의 물리적 타당성을 평가할 수 있음을 보여준다.