물리적 3D 생성의 최근 발전은 시뮬레이션 가능한 기계적 거동을 갖춘 시각적으로 충실한 에셋 생성을 가능하게 했습니다. 그러나 기존 방법들은 외형 기반 추론(inference)을 넘어선 재질 거동에 대해 제한적인 제어만을 제공하며, 물체와 의미론적 부품 간의 복잡한 상호작용으로부터 물리적 특성을 추정하는 데 어려움을 겪습니다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 재질 제어 가능한 물리 피팅과 컴포넌트 수준의 상호작용 모델링을 위한 상호보완적인 두 가지 모듈로 구성된 비디오 확산 모델(Video Diffusion Model, VDM) 기반 프레임워크인 PhysForge를 제안합니다. 첫 번째 모듈인 PhysFit은 재질 조건화 VDM 동역학을 물리적 특성 피팅의 참조로 활용하며, 재질 특성을 드러내는 상호작용에 집중하기 위한 윈도우 피팅과 VDM이 생성한 비물리적 환각(hallucination) 모션을 재질 응답으로부터 분리하기 위한 Hallucinated Forcing을 도입합니다. 두 번째 모듈인 PhysComp는 복잡한 상호작용을 개별 객체와 의미론적 컴포넌트로 분해하여, 물리적 매개변수를 독립적으로 최적화하고 결합 시뮬레이션을 위해 유연하게 구성할 수 있도록 지원합니다. PhysAssets 및 Google Scanned Objects에 대한 실험을 통해 기존 방법과 비교하여 PhysForge가 복잡한 상호작용을 위한 컴포넌트 수준의 물리 모델링을 지원하는 동시에 재질 의존적 물리 응답에 대해 더 강력한 제어력을 제공함을 입증합니다. 본 방법은 흔한 재질과 흔하지 않은 재질 모두에서 최고의 CLIP 및 물리적 제어 가능성 점수를 달성했으며, 정성적 비교, 컴포넌트 수준의 소거 연구, 사용자 연구를 통해 이러한 개선 효과를 추가로 뒷받침합니다. 프로젝트 페이지는 https://masterwanna.github.io/PhysForge.html 에서 확인할 수 있습니다.
본 논문에서는 에이전트(agent)가 비디오로부터 동적 장면을 실행 가능한 그래픽스 프로그램으로 재구성하는 코드 생성 기반의 4D 역 그래픽스(inverse graphics) 벤치마크인 4DCodeBench를 소개합니다. 이를 달성하기 위해 에이전트는 시각적 관측을 장면 구조와 동역학에 대한 간결한 표현으로 변환해야 하며, 물리 시뮬레이션과 같은 추상화를 구현하여 복잡한 동작을 재현해야 합니다. 이러한 역량을 평가하기 위해 변형, 유체 흐름, 파괴를 포함한 다양한 물리적 현상을 아우르는 실제 비디오 세트를 큐레이션하고 합성 장면을 구축했습니다. 프론티어 모델을 대상으로 광범위한 벤치마킹을 수행한 결과, 뛰어난 정적 재구성 능력이 복잡한 동역학의 신뢰성 있는 재구성으로 아직 직결되지는 않는다는 점을 발견했습니다. 4DCodeBench는 코드를 통해 세상의 동역학을 해석할 수 있는 에이전트의 발전 과정을 추적하기 위한 테스트베드를 제공합니다. 벤치마크는 https://github.com/4DCodeBench/4DCodeBench 에서 확인할 수 있습니다.
한 공이 다른 공에 충돌한 뒤 또 다른 공에 충돌할 때, 비디오 모델은 각 튕김의 결과를 예측해야 한다. 다중 공 경질 구체(hard-sphere) 역학에 대한 통제 실험에서, 표준 양방향 비디오 확산의 성능은 인과 연쇄가 길어질수록 저하되며, 디노이징(denoising) 단계를 더 부여해도 마찬가지이다. 공-공 상호작용이 없는 길이 일치 단일 공 대조군에서는 이러한 저하가 대부분 사라져, 원인이 비디오 길이가 아닌 의존적 사건 구조에 있음을 분리한다. 개입 연구 전반에서, 자기회귀(autoregressive) 및 블록 단위(blockwise) 생성과 아키텍처 깊이 등 유효 직렬 연산을 늘리는 방법이 성능 개선 효과가 특히 두드러진다. 우리는 이 패턴을 직렬성 격차(seriality gap)로 규명한다: 증가하는 직렬 연산을 요구하는 과제와, 디노이징 루프가 확장 가능한 직렬 연산을 제공하지 않는 비디오 확산 모델 사이의 불일치이다. 이어서 결정론적 비디오 예측에 대해 디노이징 단계가 백본(backbone)을 넘어 직렬 연산을 추가하지 않음을 증명하며, 이는 직렬 추론 및 시뮬레이션 과제에서 비디오 확산이 구조적 장애에 직면함을 나타낸다.
가우시안 구(Gaussian sphere)를 사면체 요소에 결합하고 미분 가능한 위상 가지치기(pruning) 메커니즘을 도입해 TetSphere Splatting의 위상동형 제약을 극복하는 HoloTetSphere 프레임워크를 제안한다. 종단 간 위상 및 기하 최적화를 통해 단일 연결된 사면체 메시를 직접 재구성함으로써 기존의 오류 발생 빈도가 높은 사면체화 단계를 우회하고 물리 시뮬레이션에 바로 활용 가능한 구조를 생성한다.
ScaleAware-JEPA는 연속 물리 필드의 다중 스케일 구조를 레이블 없이 학습하기 위해, Constrained Diffusion Decomposition(CDD)으로 필드를 스케일 성분으로 분해하고 이를 JEPA의 마스킹 기하학에 직접 연동하는 자기지도학습 프레임워크를 제안한다. MHD 난류, 성간 분자 가스, 도시 야간 조명 구조에 적용한 결과, 사전 레이블이나 분할 규칙 없이도 일관된 형태학적 구조를 반영하는 밀집 잠재 좌표(latent coordinate) 아틀라스를 형성하는 데 성공하였다.
본 논문은 물리적으로 그럴듯한 3D 객체 움직임을 위한 diffusion 트랜스포머인 PhysiFormer를 제안한다. 시점 의존적 픽셀 공간에서 동작하는 영상 world 모델과 달리, PhysiFormer는 객체를 월드 좌표계로 표현된 3D 메시로 나타낸다. 초기 정점 위치와 속도, 그리고 강체(rigid) 또는 탄성(elastic) 재질 유형이 주어지면, 모델은 미래 정점 궤적을 샘플링한다. 관련 신경 물리학 접근법들이 임의의 잠재 공간에 의존하거나 강성(rigidity)과 인과성(causality)을 명시적으로 강제하는 반면, PhysiFormer는 정점 궤적 예측을 월드 좌표에서 직접 단일 denoising diffusion 과정으로 공식화함으로써, 이러한 귀납적 편향(inductive bias) 없이도 우수한 결과를 얻을 수 있음을 보여준다. 확률적 공식화는 학습된 동역학의 불확실성을 포착하여 초기 조건으로부터 다양하고 그럴듯한 미래를 생성할 수 있게 하며, 관측되지 않은 불확실성이 존재하는 응용에 이 프레임워크가 유용할 수 있음을 시사한다. 이 모델은 효율성을 위해 시간, 공간, 객체에 대해 분해된 어텐션을 특징으로 하며, 명시적 객체 인코딩 없이도 순열 불변(permutation-invariant) 다중 객체 추론을 가능하게 한다. 10만 개 이상의 시뮬레이션 궤적로 학습된 PhysiFormer는 강체 및 탄성 역학을 생성하고, 혼합 재질 설정, 보지 못한 실세계 기하, 더 많은 객체 수로 일반화한다. 궤적 정확도, 강성 보존, 모멘텀 기반 물리적 일관성 측면에서 자기회귀(autoregressive) 기준선들을 크게 능가한다. 본 결과는 좌표 공간 diffusion이 로봇공학, 그래픽스, 물리 설계를 위한 시점 불변(view-invariant), 기하 인식(geometry-aware) world 모델링을 향한 유망한 단계임을 보여준다. 시각화, 코드, 모델은 https://yimingc9.github.io/physiformer 에서 확인할 수 있다.
검색-증강 생성(RAG)을 활용해 비디오 생성 모델의 물리 인식을 강화하는 PhysRAG 파이프라인을 제안하며, WISA-80K 데이터셋에서 2단계 필터링으로 추출한 고품질 비디오 7K개를 기반으로 학습 가능한 쿼리를 통해 물리 지식을 비디오 diffusion 모델에 주입한다. PhyGenBench와 VBench 벤치마크에서 시각적 품질과 물리 규칙 준수 모두 최첨단 성능을 달성하며 Pika, Kling 등 기존 모델을 능가했다.
복잡한 기하 형상과 경로 의존적 구성 모델을 갖는 물리 시뮬레이션은 막대한 계산 비용으로 인해 어려움에 직면한다. 최근 이미지 및 영상 합성 작업에서 성과를 거둔 생성형 AI 모델의 등장은 시뮬레이션을 더욱 개선할 가능성을 제시했다. U-Net 기반 노이즈 제거 확산 확률 모델(denoising diffusion probabilistic models, DDPM)은 탄성 응력장 생성에 채택되었지만, 일반적으로 수백 번의 샘플링 단계가 필요하며, 생성 모델을 경로 의존적(예: 소성) 응력장에 적용한 사례는 매우 제한적이다. 본 연구에서는 확률적 하중-하중 해제 경로와 기하 형상을 갖는 고해상도 경로 의존적 응력장 생성을 위해 트랜스포머 백본 기반의 새로운 플로우 매칭(flow matching, FM) 모델을 제안한다. 제안 모델은 변분 오토인코더(variational autoencoder, VAE)의 잠재 공간(latent space)에서 동작하며, 소성장 시뮬레이션을 영상 합성 작업으로 공식화하여 모든 시간 단계에 걸친 응력장을 직접 생성한다. 한편, 학습 중 조건부 수송 경로 간 교차를 줄이도록 플로우 매칭을 위한 비가우스 소스 분포를 설계했다. 이를 통해 본 모델은 지식 증류(distillation)에 의존하지 않고도 단일 단계로 만족스러운 샘플을 생성할 수 있다. 또한 경로 의존적 시뮬레이션에서 모델 성능을 더욱 향상시키기 위해 토큰 수준의 하중 임베딩(loading embedding)과 두 개의 보조 네트워크를 도입했다. 결과는 제한된 학습 데이터셋으로도 본 모델이 고해상도 경로 의존적 장(field)을 정확하게 생성할 수 있음을 보여준다. 유한요소법(finite element analysis, FEM)보다 계산 효율이 훨씬 높으며, CPU에서는 FEM 대비 6~7배, 소비자급 GPU에서는 약 두 자릿수(orders of magnitude)의 속도 향상을 제공한다.
단일 이미지로부터 조합적 3D 장면을 복원하는 것은 3D 세계 모델링에서 근본적인 과제이다. 최근 방법들은 고충실도의 완전한 3D 객체를 복원하고 그럴듯한 장면 배치를 예측할 수 있지만, 대부분은 여전히 장면 복원을 주로 시각적·기하학적 예측 문제로 다룬다. 따라서 출력에는 공중에 떠 있는 객체, 상호 침투, 불안정한 접촉 아티팩트가 포함될 수 있어, 시뮬레이션, 로봇공학, 상호작용 환경에서의 물리적 타당성과 하위 활용 가능성이 제한된다. 우리는 개방 어휘(open-vocabulary) 및 조합적 이미지-3D 장면 복원을 위한 물리적으로 그라운딩된 접근법인 $φ$-Scene을 제안한다. 핵심 전제는 복원된 장면을 예측된 자세(pose)를 가진 객체들의 집합으로만 취급해서는 안 되며, 안정적인 물리 시스템으로 봐야 한다는 것이다. 이에 따라 $φ$-Scene은 복원을 위상(topology) 기반 물리적 조립으로 공식화한다: 객체끼리 서로를 어떻게 지지하는지 추론하고, 그에 맞게 순서를 정한 뒤, 이미 안정화된 지지 맥락에 대해 각 객체를 점진적으로 안착(settle)시킨다. 위상 순서상 각 객체에 대해, SDF 기반 최적화가 먼저 사전 안착된 지지 맥락과의 침투를 해소하고, 강체(rigid-body) 시뮬레이션이 실제 물리 제약 하에서 객체를 안정적인 접촉 구성으로 안착시킨다. 3D-Front에서의 실험은 $φ$-Scene이 도메인 외(out-of-domain) 방법 중 최고의 전반적 성능을 달성하고 도메인 내(in-domain) 기준선(baseline)과도 매우 경쟁력 있음을 보여준다. 인간 평가와 VLM(비전-언어 모델) 평가는 시각적 품질, 참조 정렬(reference alignment), 물리적 그럴듯함(physical plausibility)에서 $φ$-Scene에 대한 강한 선호를 추가로 보여준다. 마지막으로, 정적 접촉 품질과 동적 안정성을 아우르는 전용 물리적 그럴듯함 지표는 $φ$-Scene이 침투 아티팩트를 크게 줄이면서 시뮬레이션 후 drift를 훨씬 낮게 만들어, 더 안정적이고 물리적으로 그라운딩된 3D 장면을 생성함을 보여준다.
비디오에서 물리적 역학을 추론하고 시간 순방향으로 외삽하는 능력을 연구하기 위해, 변형 가능한 물체, 유체, 운동 객체, 이미터와 같은 다양한 물리 현상을 포괄하는 2D 물질점법(MPM) 물리 시뮬레이션 데이터셋을 구축했습니다. 이 데이터셋에서 코드 생성 및 비디오 디퓨전 접근법을 연구하고, 물리적으로 관련된 부가 정보의 양을 변화시키며 각 접근법의 강점과 약점을 파악했습니다. 코드 생성 모델은 MPM 시뮬레이션의 자동 합성에 대한 작동 가능한 시연을 제공하는 것을 넘어, 이러한 접근법이 시각적 입력에서 물리적 매개변수를 추론하는 데 어려움을 겪는다는 점을 보여줍니다. 그러나 비디오 디퓨전에 비해 물리적으로·시간적으로 안정적인 시간 순방향 외삽을 생성하는 반면, 비디오 디퓨전 모델은 시각적 입력에서 기하학적 속성을 더 강하게 식별하지만 물리적으로 타당하지 않은 외삽 결과를 생성합니다.