물리적 세계에서 계획하고, 행동하며, 창조할 수 있는 AI 시스템을 구축하려면 단순한 패턴 인식을 넘어선 능력이 필요합니다. 이러한 시스템은 관찰, 행동, 그리고 그 결과를 연결하는 구조화된 표현을 활용하여 물리적 과정을 지배하는 생성 메커니즘과 제약 조건을 추론할 수 있어야 합니다. 그러나 기존의 많은 벤치마크는 이러한 능력들을 분리하여 연구하며, 시각적 인식에만 집중하거나 추상적인 기호 및 프로그래밍적 추론에만 초점을 맞춥니다. 종이접기(Origami)는 이러한 능력들을 통합하는 자연스러운 시험대를 제공합니다. 접기를 통해 형상을 구성하는 과정은 시각적 지각, 기하학적 및 물리적 제약 조건에 대한 추론, 순차적 계획을 요구하는 동시에 체계적인 평가를 수행할 수 있을 만큼 충분히 구조화되어 있습니다. 본 논문에서는 물리적으로 그라운딩(grounding)된 접기 행동의 고수준 언어를 통해 종이접기 합성의 기저 메커니즘에 대한 프로그래밍적 이해도를 평가하는 벤치마크인 OrigamiBench를 소개합니다. 최신 비전-언어 모델(vision-language model)을 사용한 실험 결과, 단순히 모델 크기를 스케일링(scaling)하는 것만으로는 물리적 변환에 대한 추론 능력이 안정적으로 향상되지 않는 것으로 나타났습니다. 나아가 모델들은 프로그래밍적 정보를 시각적 관찰에 그라운딩하는 데 어려움을 겪었으며, 이는 시각 및 언어 표현이 여전히 불완전하게 통합되어 있음을 시사합니다.
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
비디오 생성 모델은 매우 사실적인 시퀀스를 생성하며 점차 세계 모델(world model)로 제안되고 있으나, 최근 벤치마크들은 이들 모델의 물리적 추론 능력에 뚜렷한 한계가 있음을 보여줍니다. 이는 이러한 모델들이 물리적 원리를 내재화하는 것인지, 아니면 단순히 익숙한 움직임 패턴을 재현하는 것에 불과한지에 대한 의문을 제기합니다. 본 연구에서는 중력과 접촉 조건에서의 기하학적 운동 및 강체 역학에 걸쳐 시뮬레이터 기반 참값(ground-truth) 물리량에 대해 비디오 확산 트랜스포머(DiT)의 내부 표현을 프로빙(probing)하여 이 문제를 다룹니다. 연구 결과, 이러한 물리량들은 노이즈 제거(denoising) 과정 초기 단계에서 높은 정확도로 선형 디코딩될 수 있으며, 모델 자체의 노이즈가 추가된 잠재 공간(latents)에서 직접 디코딩한 기준선(baseline)을 크게 능가함을 확인했습니다. 이는 관련 물리 정보가 입력에 이미 존재하는 것이 아니라 노이즈 제거 과정 중에 능동적으로 구성됨을 시사합니다. 또한, 물체 상의 토큰(on-object tokens)에서의 활성화가 관련 물리 정보를 전달하며, 여러 프레임에 걸쳐 정의된 물리량도 단일 잠재 프레임에서 읽어낼 수 있음을 보여줍니다. 따라서 정보는 토큰 시퀀스 내에 뚜렷하게 국소화되며, 전역적으로 계산되지만 국소적으로 저장됩니다. 나아가 프로브(probe)는 부분적인 외삽(extrapolation) 능력을 보여주어, 학습 체계(training regime) 외부의 장면 변형 및 물체 구성으로도 전이되므로 이들이 읽어내는 내용이 단순히 피팅된 장면의 상관관계에 불과한 것이 아님을 나타냅니다. 전체 해상도 활성화 공간에 직접 피팅할 경우, 이러한 프로빙 방향은 모델의 출력을 변경하기 위한 조향 벡터(steering vector) 역할을 할 수 있습니다.
비전-언어 모델(VLM)은 뛰어난 멀티모달 추론 능력을 보여주었으나, 실제 세계 역학의 기반이 되는 물리적 일관성을 진정으로 포착하고 있는지는 여전히 불분명합니다. 기존 벤치마크 패러다임은 인지, 추론, 물리적 판단 사이의 내재적 시너지를 간과한 채 고립된 인지 단계에만 집중하는 파편화된 평가로 어려움을 겪는 경우가 많습니다. 이러한 총체적 관점의 부재는 최근 등장하는 생성 모델의 물리적 진위성을 VLM이 신뢰성 있게 평가할 수 있는지 진단하는 데 한계를 야기합니다. 이러한 문제를 해결하기 위해, 우리는 인간의 관찰-추론-평가 과정에서 영감을 얻은 폐쇄형 인지 루프 프레임워크를 통해 VLM의 물리적 지능을 평가하도록 설계된 벤치마크인 PhysVista를 소개합니다. PhysVista는 물리적 상태 인지, 물리적 역학 추론, 물리적 타당성 평가를 공동으로 평가함으로써 이 루프를 복원합니다. 또한 물리적 이해에 대한 세분화된 분석을 가능하게 하기 위해 사건 수준 추론과 스케일 수준 추론을 구분합니다. 이에 더해 PhysVista는 실제 영상과 AI 생성 영상을 모두 포함하여 다양한 도메인과 새롭게 부상하는 생성 시나리오 전반에 걸친 평가를 가능하게 합니다. 다양한 VLM 세트를 대상으로 한 광범위한 실험을 통해 물리적 추론 및 타당성 평가에서 상당한 한계가 드러났으며, 이는 시각적 인식과 진정한 물리적 이해 사이에 지속적인 격차가 존재함을 부각하고 물리적으로 기반을 둔(physically grounded) 멀티모달 지능을 위한 보다 원칙적인 설계 방향을 제시합니다.
인간은 물리적 현상을 추론할 때 오목한 부분을 매끄럽게 다듬은 대략적인 부피 기반의 '바디(bodies)'로 객체를 표상하는 것으로 보이며, 이는 효율적인 물리적 예측을 위해 미세한 시각적 세부 정보를 절충한 결과입니다. 그러나 이러한 표상의 구조는 여전히 거의 알려지지 않았습니다. 반면 분할(segmentation) 모델은 픽셀 단위로 정확한 마스크를 생성하도록 학습(training)되므로 이러한 바디와 잘 일치하지 않을 수 있습니다. 본 연구에서는 그럼에도 불구하고 이러한 모델들이 인간과 유사한 객체 표상을 획득하는지, 그리고 언제 획득하는지 질문을 던집니다. 각각 178명과 50명의 인간 참가자 데이터가 포함된 충돌 시간(TTC) 및 변화 감지(CD) 행동 과제를 활용하여, 분할 모델의 시각적 표상을 인간의 시각적 표상과 비교할 수 있는 파이프라인과 정렬(alignment) 지표를 제안합니다. 다양한 모델 크기와 학습 시간을 적용하여 여러 아키텍처(DINOv2, SegFormer, DeepLabV3+, UPerNet)에서 체계적으로 이를 수행합니다. 연구 결과, 짧은 시간 동안 학습된 모델은 객체를 지나치게 거칠게 분할하여 인간과의 정렬 수준이 낮았으며, 완전히 학습된 모델은 객체를 지나치게 세밀하게 분할하는 것으로 나타났습니다. 각 모델마다 인간의 행동에서 관찰되는 대략적인 바디와 가장 잘 일치하는 중간 단계의 학습 구간이 존재하며, 모델 크기가 클수록 이 구간에 더 일찍 도달하는 경향이 있습니다. 우리는 이러한 바디가 범용 비전 모델의 자원 제약 조건 하에서 창발함을 보여주며, 이는 인간 인지에 대한 자원 합리성(resource-rational) 설명에 계산적 근거를 제공합니다. 본 연구는 비전 모델과 인간 간의 정렬을 검증하기 위한 기초적인 프레임워크를 제공하며, 모델 크기와 학습 스케일링(scaling)으로 인해 인공지능의 최신 기술과 인간 인지 사이의 격차가 점차 벌어지고 있음을 보여줍니다.
실제 물리 시스템은 다중 연속장, 잠재적 인과 메커니즘, 부분 관측, 개입에 민감한 역학을 포함하므로, 물리적 세계를 이해하기 위해서는 객체 인식, 장면 기술, 단기 시각 예측 이상의 능력이 필요합니다. 본 논문에서는 결합장(coupled-field) 화재 역학을 통해 멀티모달 대규모 언어 모델(LLM)과 에이전트(agent)의 복합 물리 세계 지능을 평가하기 위한 벤치마크(benchmark)인 FireWorldBench를 제안합니다. 화재는 상호작용하는 다중 물리장이 관측 가능한 상태와 시간적 역학을 공동으로 형성하는 대표적인 스트레스 테스트 환경(environment)을 제공합니다. FireWorldBench는 물리적 역량 축과 화재 시나리오 태스크 축이라는 상호 보완적인 두 가지 축으로 구성되어, 물리적 상태 이해, 시간적 역학, 인과 메커니즘, 개입 추론을 종합적으로 다룹니다. 이 벤치마크는 7가지 환경 패밀리에 걸친 47개 장면 원형을 아우르는 494개의 제어된 시뮬레이션 환경 및 26개의 실세계 연계 이벤트 그룹을 포함하여 총 520개의 화재 세계 엔트리로 구성됩니다. 이러한 엔트리들은 구조화된 텍스트 관측, 다중 2D 물리장 시각화, 3D 이벤트 수준 장면 모델링을 결합하여, 객관식 선택형 및 서술형 보고서 생성 형식에 걸쳐 9,074개의 텍스트-이미지 인터리브 질의응답 쌍을 제공합니다. FireWorldBench는 모델이 멀티모달 부분 관측으로부터 잠재적 물리 상태를 추론하고, 기저 메커니즘을 설명하며, 결합장의 진화를 예측하고, 개입의 결과를 평가할 수 있는지를 평가함으로써 복합 물리 세계 지능을 위한 도전적인 테스트베드를 제공합니다.
비디오 파운데이션 모델(video foundation model)은 이제 물리적 추론(physical reasoning) 벤치마크에서 인간 수준의 정확도에 도달했지만, 이러한 과제는 관측되지 않은 물리적 결과를 예측해야 한다. 이 모델들은 인간과 유사한 순방향 시뮬레이션(forward simulation)을 수행하는 것일까, 아니면 가시적인 장면의 통계적 규칙성을 활용하는 것일까? 정확도만으로는 이러한 전략을 구분할 수 없다. 우리는 모델 시드(seed)와 인간 평가자를 모집단으로 취급하여 합의(consensus), 불확실성, 전략을 비교할 수 있는 분포 기반 평가 프레임워크를 제안한다. Physion 벤치마크에서 우리는 세 가지 ViT-L 아키텍처(V-JEPA2, VideoMAEv2, DINOv2)를 평가한다. V-JEPA2는 정확도 격차를 약 1퍼센트포인트(73.2% 대 74.2%)로 좁히지만, 모델-인간 불일치는 26.4%에 달해 인간-인간 불일치(4.8%)를 크게 상회하며, 일치도(카파(kappa) ~0.48 대 0.91) 역시 상당히 낮다. 이러한 차이는 순방향 시뮬레이션 요구 수준에 따라 나타난다: 모델은 기하학적 추론(연결(linking), +11.8 퍼센트포인트)에서는 인간을 능가하지만, 중력 역학(구르기(rolling), -11.8 퍼센트포인트)과 인과 연쇄(도미노(dominoes), -10.5 퍼센트포인트)에서는 인간에 미치지 못한다. 전략 지문 분석(strategy fingerprinting)은 세 아키텍처 모두 비인간적 전략을 공유하면서도 어느 것도 인간과 일치하지 않음을 확인한다. 귀인 분석(attribution analysis)에 따르면 가시적인 장면 속성이 아니라 관측 불가능한 결과 특징(outcome feature)이 이러한 차이를 예측하는 것으로 나타나며, 이는 모델이 명시적인 순방향 시뮬레이션보다 장면 수준의 통계적 규칙성에 더 의존한다는 것과 일치한다. 이는 정확도만으로는 드러낼 수 없는 체계적인 차이다. 코드는 https://github.com/fanhong-li/model-human-divergence 에서 확인할 수 있다.
비디오 대규모 언어 모델(Video-LLM)은 일반적인 비디오 이해에는 뛰어나지만, 물리적 판단을 관찰보다는 사건에 대한 기대(expectation)에 기반하여 내리는 경우가 많습니다. 본 연구에서는 명확히 모순되는 시각적 증거가 있음에도 불구하고, 이러한 모델들이 물리적으로 불가능한 사건을 합리화할 뿐만 아니라 물리적으로 그럴듯하지만 직관에 반하는 시나리오에서도 예상된 결과를 잘못 보고한다는 점을 발견했습니다. 저자들은 이러한 실패를 의미적 기대가 상충하는 시각적 증거보다 우선하는 현상인 '의미론적 사전 지식 지배(Semantic Prior Dominance, SPD)'로 명명하고 이에 대한 최초의 통합된 설명을 제시합니다. 이러한 실패를 진단하고 극복하기 위해, 8가지 물리 범주에 걸쳐 두 가지 상충을 모두 다루는 고충실도 쌍 구성 비디오 벤치마크(benchmark)인 PriorPair를 도입합니다. PriorPair의 범주 지향적 구성은 사전 지식과 일치하는 사건을 의미적으로 일치하지만 사전 지식과 상충하는 대조군과 짝지어 구성합니다. 나아가 저자들은 경량 학습(training) 프레임워크인 Physics-Anchored Reasoner(PhyAR)를 제안합니다. PhyAR의 시각적 고정 추론 체인(Visually Anchored Reasoning Chain)은 물리적 귀인 및 판단을 명시적인 시각적 관찰에 그라운딩(grounding)하며, 쌍 데이터 바인딩(Paired Data Binding)은 일치 쌍에 대한 감독을 통해 결정적인 사건 차이에 대한 학습을 강화합니다. PhyAR을 적용한 표준 LoRA 미세조정(fine-tuning)은 아키텍처 수정 없이도 다양한 비디오-LLM 백본 전반에서 물리적 추론을 크게 향상시키고 사전 지식에 기인한 판단 바이어스(bias)를 줄입니다. 이러한 개선 효과는 일반적인 비디오 이해 능력을 대체로 보존하면서 외부 물리 벤치마크로도 확장됩니다.
단일 이미지로부터 질량, 강성, 탄성과 같은 물리적 속성을 추론하는 것은 시뮬레이션 및 체화 AI(embodied AI)에 필수적이지만, 기존 대부분의 접근법은 다중 뷰 재구성 또는 물리 기반 감독에 의존한다. 우리는 3D 인식 시각 단서·깊이와 언어 기반 재료 지식을 정렬하는 단일 이미지 물리적 속성 추론을 위한 통합 프레임워크인 SiPhy를 제안한다. 하나의 RGB 이미지로부터 SiPhy는 pseudo-voxel 포인트를 샘플링하고 CLIP 특징을 추출하며, VLM이 제안한 재료 후보에 이를 그라운딩(grounding)한다. 부품 기반 대조(contrastive) 집계기는 영역 일관성을 강제하고, heaviness-aware 정제(refinement)는 밀집 객체에 대한 두께 및 부피 추정을 개선한다. ABO-500, MVImgNet-100, PhysXNet-100에서 SiPhy는 최첨단 단일 이미지 성능을 달성하며, 다중 뷰 재구성 방법을 능가한다: 질량 MnRE를 최대 93% 개선(PUGS 대비), 밀도 MAE를 35.5% 감소(NeRF2Physics 대비), 영률(Young's modulus) 오차를 23.5% 낮춘다. 또한 실제 손-객체 상호작용 데이터셋에서 SiPhy를 검증하여, 단일 뷰 영상으로부터의 물리적 이해를 위한 데이터 어노테이션 엔진으로서의 잠재력을 보여준다.
원시 시각 데이터로부터 광범위한 세계 지식을 직접 학습하는 것은 지능의 근본적인 능력이다. 우리는 UniVR을 소개한다. 이는 순수한 시각 시연으로부터 복잡한 추론, 세밀한 물리적 역학, 장기 계획을 동시에 학습하는 최초의 연구이다. UniVR의 핵심은 VR-GRPO로, 상호 보완적인 전역(global) 및 단계 수준(step-level) 보상을 갖춘 강화학습 패러다임이다. 이 접근법은 작업별 휴리스틱이나 이미지-텍스트 쌍을 요구하지 않으면서, 추론 과정 전반에 걸쳐 논리적 일관성과 물리적 일관성을 강제한다. UniVR을 학습하고 평가하기 위해, 장기 조작, 공간 퍼즐, 물리 추론에 걸친 16개의 다양한 출처에서 큐레이션한 대규모 벤치마크 VR-X를 구축했다. 이는 순수 시각 프로토콜 하에서 이러한 이질적인 능력들을 평가하는 최초의 종합 벤치마크 스위트이다. 놀랍게도 UniVR은 VR-X에서 최대 25%의 성능 향상을 달성했으며, 뛰어난 시각 추론 능력은 다양한 멀티모달 이해 벤치마크에서의 성능도 향상시킨다. 이러한 결과는 시각 공간 내 추론의 막대한 잠재력을 강조하며, 모든 코드, 데이터, 모델은 추가 연구를 위해 오픈소스로 공개되었다.
비디오-언어 모델(VLM)은 비디오 이해 및 시각적 질의응답에서 뛰어난 성능을 달성했지만, 물체 상호작용, 인과적 역학, 근본적인 물리 원칙에 대한 이해가 필수적인 물리적 타당성 추론에서는 여전히 신뢰성이 부족하다. 이러한 한계는 난이도 높은 물리적 추론 벤치마크에서 특히 두드러지며, 물리적 상식 추론의 지속적인 격차를 드러낸다. 이 문제를 해결하기 위해 우리는 물리적 타당성 추론을 위한 학습 없는 물리 메모리 및 검증 프레임워크인 PhysMRV를 제안한다. 의미적으로 유사한 비디오를 추가 컨텍스트로 검색하는 검색-증강 VLM과 달리, PhysMRV는 학습 비디오를 세 가지 상호보완적 수준으로 구성된 계층적 메모리 뱅크(Hierarchical Memory Bank)의 구조화된 물리 지식으로 변환한다: 시각적 컨텍스트를 포착하는 장면 설명, 물체 상호작용과 인과 구조를 모델링하는 물리-이벤트 그래프, 재사용 가능한 물리 원칙과 단서를 추출하는 물리 규칙 요약. 추론 시 PhysMRV는 물리적으로 관련된 메모리를 검색하고 구조화된 물리적 증거를 활용하여 동결된 VLM이 물리적 타당성을 검증하도록 유도하며, 미세조정이나 매개변수 업데이트를 필요로 하지 않는다. 우리는 ImplausiBench, IntPhys2, GRASP Level 2의 세 가지 난이도 높은 물리적 추론 벤치마크에서 다수의 최신 VLM을 대상으로 PhysMRV를 평가한다. 실험 결과는 다양한 VLM 및 평가 벤치마크에서 직접 프롬프팅 대비 일관된 성능 향상을 보여주며, 구조화된 물리 메모리가 추가 학습 없이 물리적 타당성 추론을 향상시키는 효과적이고 확장 가능한 수단을 제공함을 입증한다.
VAORA(Visual Action Outcome Reasoning Alignment)는 비전-언어 모델(VLM)의 대화형 물리적 추론에서 발생하는 두 가지 실패 원인인 환각된 사고의 연쇄(CoT)와 추론-행동 불일치를 해결하기 위해, 초기 장면 및 행동 후 시각적 결과에 추론을 정렬하는 두 가지 상호 보완적 보상 신호를 설계한다. PHYRE와 Virtual Tool 벤치마크에서 미경험 태스크 및 환경에 대한 실험을 통해, VAORA가 DQN 전문가를 능가하며 제로샷 크로스-환경 전이에서도 최고 수준의 성능을 달성함을 확인하였다.
물리적 상호작용은 롱테일 분포를 따른다. 흔하고 규칙적인 상호작용 집합이 인간의 경험과 시각 데이터를 지배하는 반면, 드물고 비정형적인 상호작용의 넓은 스펙트럼은 충분히 표현되지 않는다. 이미지 및 비디오 생성 모델을 포함한 최근의 시각적 세계 모델들이 기존 벤치마크에서 인상적인 사실성을 달성하고 있지만, 이들은 주로 일반적인 물리적 상호작용을 시뮬레이션하는 데 초점을 맞추고 있다. 이는 핵심적인 질문을 제기한다: 현재의 시각적 세계 모델은 물리적 원리를 내재화하고 일반화하는가? 본 연구에서는 세계 모델이 비정형적인 물리적 상호작용을 시뮬레이션하도록 도전하는 벤치마크인 Tailor-Bench를 소개한다. 체계적인 평가를 가능하게 하기 위해, 모델 추론을 점진적으로 도전하는 세 가지 시나리오 모드를 설계하였다: Regular 시나리오는 일반적인 도구-작업 쌍을 반영하고, Unconventional 시나리오는 어포던스(affordance) 일반화를 테스트하기 위해 속성 호환 대체물로 기존 도구를 교체하며, Impossible 시나리오는 제약 인식을 탐색하기 위해 속성 위반 도구를 도입한다. 또한 통일된 평가 프로토콜 하에 두 가지 상호 보완적인 설정을 설계하였다: 예측적 생성은 안내 없이 결과를 추론하도록 요구하고, 기술적 생성은 충실한 실현을 위해 목표 결과를 명시한다. 실험 결과는 물리적 세계 모델링에서 명확한 롱테일 격차를 드러낸다: Regular에서 Unconventional, Impossible 시나리오로 갈수록 성능이 저하되어, 일반적인 상호작용을 넘어선 일반화가 제한적임을 보여준다. 실패 분석은 모델들이 피상적인 시각 패턴에 의존함을 추가로 보여준다: 이미지 모델은 올바른 상태 변화를 실현하지 못하고, 비디오 모델은 추가적으로 시간적 비일관성 문제를 겪는다.
우리는 물리적 충실성(physical faithfulness), 기하학적 일관성(geometric consistency), 상호작용 충실도(interaction fidelity)를 기준으로 비디오 기반 월드 모델을 진단하는 벤치마크인 WorldOlympiad를 소개한다. 기존 벤치마크들은 시각적 품질, 의미론적 정렬, 또는 단기 시간적 일관성에 초점을 맞추는 경우가 많아, 생성된 비디오가 물리 법칙을 따르는지, 일관된 3D 구조를 유지하는지, 그리고 장기(long-horizon)에 걸쳐 제어 가능한 상호작용을 지속하는지에 대한 통찰을 충분히 제공하지 못한다. 이 문제를 해결하기 위해 WorldOlympiad는 월드 모델 평가를 세 가지 상호 보완적인 차원으로 분해한다. 물리 트랙은 객체 분할(object segmentation)과 MLLM-as-judge를 활용하여 생성된 비디오가 역학(mechanics), 열 현상(thermal phenomena), 재료 특성(material properties)에 관한 해석 가능한 규칙을 따르는지 평가한다. 기하학 트랙은 생성된 비디오를 가우시안 스플래팅(Gaussian splatting)으로 재구성하고 구조적 일관성, 교차 시점(cross-view) 일관성, 카메라 궤적 정렬을 평가한다. 상호작용 트랙은 생성된 롤아웃(rollout)이 복잡한 액션 프롬프트를 따르고 연속적인 비디오 청크 전반에 걸쳐 부드럽고 일관된 전환을 유지하는지 평가한다. WorldOlympiad는 게임(gaming), 로보틱스(robotics), 일반 실세계 비디오를 포함한 세 가지 주요 다운스트림 시나리오를 추가로 다루며, 인터랙티브 제어 및 체화된 조작(embodied manipulation)부터 오픈 도메인 모션 및 카메라 다이나믹스까지 다양한 과제를 포괄한다. 이러한 트랙과 시나리오들은 함께 일반적인 비디오 품질을 넘어선 실패 모드를 드러내는 확장 가능하고 해석 가능한 평가 스위트를 구성한다. 최신(state-of-the-art) 모델들에 대한 실험은 물리적 추론, 3D 일관성, 장기 상호작용에서 상당한 격차를 드러내며, 생성형 월드 모델에 대한 더 구조화된 평가 프로토콜의 필요성을 강조한다.
비디오 생성 모델(VGMs)은 비디오 생성뿐만 아니라 월드 모델링(world modeling)을 포함한 다양한 다운스트림 태스크에 활용될 수 있는 새로운 영역이 되었습니다. 이러한 태스크를 발전시키려면 우수한 비디오 모델이 세상의 물리적 현실을 이해해야 합니다. 이러한 이해를 평가하는 것은 새로운 분야로 자리 잡았으며, 모델이 생성한 비디오와 물리적 실험의 실제 비디오를 비교하여 이를 명시적으로 정량화하는 Physics-IQ 벤치마크를 탄생시켰습니다. 본 연구에서는 Physics-IQ 벤치마크에 대한 체계적인 검토를 수행하고 그 한계점을 지적한 뒤, VGM의 물리적 이해도를 측정하는 방식을 개선하는 세 가지 해결책을 제안합니다. 구체적으로, 교란 요인(confounding factors)의 영향을 줄이기 위해 프롬프트와 정답(ground-truth)의 품질을 개선하고, 각 샘플과 지표(metric)에 동일한 가중치를 부여하는 샘플 수준 채점 시스템을 추가로 도입했습니다. 그 결과인 Physics-IQ Verified 벤치마크는 전체 샘플의 57.6%를 정제하고 34.8% 이상의 프롬프트를 개선했습니다. 6개의 이미지-투-비디오(image-to-video) 생성 모델을 사용한 비교 연구에서, 우리는 적당하지만 의미 있는 순위 변화(Kendall's $τ= 0.46$)를 관찰했습니다. 우리는 Physics-IQ Verified가 물리적으로 정확한 VGM을 향한 더 신뢰할 수 있는 신호를 제공하여 연구 커뮤니티의 발전에 기여하기를 바랍니다. 이 벤치마크의 코드는 https://github.com/google-deepmind/physics-iq-benchmark 에서 접근할 수 있습니다.
물리적 사건은 그 이름만으로 이해되는 것이 아니라, 그것을 구성하는 인과적 상태 변화를 통해 이해됩니다. "bounce"와 같은 클립 수준 레이블은 정확할 수 있지만, 지지 손실(support loss)과 접촉 시작부터 반동과 안정화에 이르기까지 사건을 물리적으로 타당하게 만드는 과정을 숨길 수 있습니다. 이 숨겨진 과정을 명확히 하기 위해, 우리는 원자적 물리적 전이(APTs)를 도입합니다: 가시적 단서를 활성 물리적 메커니즘 및 전후 동적 체제에 결합하는 최소한의 시간적으로 국소화된 상태 변화입니다. APT 체인은 비디오를 단일 집합적 사건 레이블이 아닌 순서화된 인과적 전이 시퀀스로 표현합니다: 사건 레이블은 무슨 일이 일어났는지 말해주고, APT 체인은 왜 일어났는지 설명합니다. VLMs(비전-언어 모델)가 APT를 학습할 수 있도록, 우리는 인간 주석과 시뮬레이터 정답(ground truth)에서 혼합 소스 APT 데이터를 구성했으며, 이는 접촉, 중력, 마찰, 회전/안정성에 걸쳐 14가지 전이 유형을 포함하고 1,246개의 시행(trials)에 걸쳐 27,303개의 시간이 기록된 인스턴스를 포함합니다. 이 데이터를 사용하여, 우리는 현재의 VLM들이 전이 수준 물리학을 놓치고 있음을 발견했으며, 제로샷 재현율은 최대 14%에 불과하고 오류는 놓친 전이가 지배적입니다. APT 체인에 대한 직접 미세조정은 전이 감지를 향상시키지만 사건 수준 망각을 유발하며, 이는 모델이 재사용 가능한 물리적 표현이 아닌 특화된 답변 형식을 학습했음을 나타냅니다. 따라서 우리는 APT-Tune을 제안합니다. 이는 VLM이 비디오 질문에 답하는 방법을 잊지 않으면서 인과적 전이를 사용하도록 가르치는 매개변수 효율적인 레시피입니다. 이는 이미지 패드 인식 지도, 형식 조건부 공동 학습, 그리고 메커니즘 조건부 도메인-타입 디코딩을 결합하여 APT 학습을 형식에 강건하고 물리적으로 그라운딩되도록 만듭니다. Qwen3-VL-2B에서 단 11M LoRA 매개변수만으로 APT-Tune은 APT 재현율을 상당히 향상시킬 뿐만 아니라 사건 수준 비디오 전이도 개선합니다. 이러한 결과는 APT가 새로운 답변 형식이 아니라, 물리적 비디오 이해를 위한 인간 정렬된 인과적 지도 신호임을 보여줍니다.