arXiv:2610.07609v2 cs.CV

PhysLDM: 고충실도 변형체 시뮬레이션을 위한 잠재 확산 모델

PhysLDM: Latent Diffusion for High-Fidelity Deformable Simulation

Yu Zhang, Xudong Xu, Xingang Pan

제출 2026-10-06

한국어 초록

고충실도 변형체(deformable body)의 신경망 기반 시뮬레이션은 컴퓨터 그래픽스와 물리 AI 분야의 근본적인 과제입니다. 고해상도 3D 볼류메트릭 메시(volumetric mesh)에 대한 장기 예측(long-horizon prediction)은 매우 어렵습니다. 자기회귀(autoregressive) 방식은 오차 누적에 취약하며, 고유 해상도에서의 직접적인 다중 프레임 예측은 계산 비용이 지나치게 큽니다. 이는 메시 기반 볼류메트릭 물리에서는 거의 연구되지 않았던 소형 시공간 잠재 표현(compact spatiotemporal latent representation)의 필요성을 시사합니다. 한편, 결정론적 회귀(deterministic regression)와 생성적 확산(generative diffusion) 중 어떤 것이 더 적합한 예측 패러다임인지도 여전히 불분명합니다. 이러한 복합적인 과제를 해결하기 위해, 본 논문에서는 원샷 볼류메트릭 변형체 시뮬레이션을 위한 통합 잠재 확산 패러다임인 PhysLDM을 소개합니다. PhysLDM의 핵심은 일반적인 비디오 VAE와 같은 표준 시간 압축 방식의 "계단식(staircase)" 아티팩트를 방지하는 총체적 시공간 VAE로, 최대 78배의 토큰 압축률에서 미터 규모 장면에 대해 약 2.48mm의 재구성 정밀도를 달성합니다. 신뢰할 수 있는 이 잠재 공간을 기반으로 회귀 및 확산 방식을 체계적으로 비교합니다. 실험을 통해 복잡한 변형체 동역학이 종종 카오스적(chaotic)이며, 이러한 조건에서 결정론적 회귀는 비물리적 평균을 생성하는 경향이 있는 반면 확산 모델은 해당 분포를 더 잘 모델링한다는 핵심 모델링 통찰을 발견했습니다. 이에 따라 카오스적 데이터로부터 효과적으로 학습하여 물리적으로 타당한 궤적을 생성하는 잠재 확산 모델을 적용합니다. Objaverse 규모의 데이터셋에서 순수하게 운동학적(kinematically)으로 학습된 단일 PhysLDM 모델은 미지의 분포 외(OOD) 데이터셋(GSO 및 Toys4K)에 대해서도 제로샷(zero-shot)으로 일반화됩니다. 또한 미분 가능성을 바탕으로 역문제(inverse problem) 해결 및 고차 설계 최적화를 효율적으로 수행할 수 있습니다. 우리가 아는 한, PhysLDM은 볼류메트릭 변형체 동역학을 위한 최초의 고충실도 시공간 오토인코더이자 잠재 확산 패러다임으로, 신경망 시뮬레이션을 위한 확장 가능하고 견고한 접근법을 제시합니다.

원문 초록

Neural simulation of high-fidelity deformable bodies is a foundational challenge in computer graphics and physical AI. Long-horizon prediction for high-resolution 3D volumetric meshes is difficult: autoregressive methods are susceptible to error accumulation, while direct multi-frame prediction at native resolution is computationally prohibitive. This motivates a compact spatiotemporal latent representation, which is largely unexplored for mesh-based volumetric physics. Meanwhile, it remains unclear whether deterministic regression or generative diffusion is the more appropriate predictive paradigm. To address these coupled challenges, we introduce PhysLDM, a unified latent-diffusion paradigm for one-shot volumetric deformable simulation. Its core is a holistic spatiotemporal VAE that avoids the "staircase" artifacts of standard temporal compression (as in common video VAEs), achieving ~2.48 mm reconstruction precision on meter-scale scenes at up to 78x token compression. Based on this reliable latent space, we systematically compare regression and diffusion methods. Our experiments uncover a key modeling insight: complex deformable dynamics are often chaotic, and in this regime deterministic regression tends to produce non-physical averages, whereas diffusion better models their distribution. Accordingly, we employ a latent diffusion model that effectively learns from the chaotic data to generate physically plausible trajectories. Trained purely kinematically on an Objaverse-scale dataset, a single PhysLDM generalizes zero-shot to unseen OOD datasets (GSO and Toys4K). Its differentiability further enables efficient solution of inverse problems and higher-order design optimization. To our knowledge, PhysLDM is the first high-fidelity spatiotemporal autoencoder and latent-diffusion paradigm for volumetric deformable dynamics, offering a scalable and robust approach to neural simulation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07609v2
  2. arXiv:2610.07609v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.15015v3cs.CV공통 태그 physics simulation

NEXUS: 물리적으로 일관된 접촉이 풍부한 3D 객체 역학을 위한 신경 에너지 필드

NEXUS: Neural Energy Fields for Physically Consistent Contact-Rich 3D Object Dynamics

물리 기반 비디오 생성은 접촉, 변형 및 외력 하에서 물리적으로 일관성을 유지하는 제어 가능한 3D 객체 역학을 필요로 합니다. 기존의 궤적 기반 방법들은 종종 고립된 물리적 효과를 모델링하여, 접촉이 풍부한 3D 장면에서 보존적(conservative) 및 비보존적(non-conservative) 역학을 결합하기 어렵게 만듭니다. 우리는 접촉이 풍부한 3D 객체 역학을 위한 신경 에너지 필드 프레임워크인 NEXUS를 제안합니다. NEXUS는 각 객체를 구조적 그래프로 표현하고 동적인 객체-객체 및 객체-환경 접촉 그래프를 구성합니다. 해밀토니안 신경망(Hamiltonian Neural Networks)에서 영감을 받아, NEXUS는 상태나 가속도를 직접 예측하는 대신 스칼라 에너지와 소산(dissipation) 항을 통해 운동을 공식화합니다. 중력과 탄성 변형을 포함한 보존적 효과는 가산적 에너지 항으로 구성되는 반면, 감쇠와 충격으로 인한 에너지 손실과 같은 비보존적 효과는 학습된 레일리 스타일 소산으로 모델링됩니다. 힘은 에너지 및 소산 함수를 미분하여 도출되며, 다중 서브스텝 반-암시적 적분기(multi-substep semi-implicit integrator)를 사용하여 시뮬레이션됩니다. 제어된 궤적 벤치마크(benchmark) 전반에서, NEXUS는 다양한 기계적 특성과 물리적 효과 구성 하에서 대표적인 학습 기반 및 물리 구조화된 역학 기준 모델(baseline)들보다 장기 정확도를 향상시킵니다. 또한, 우리는 NEXUS 궤적이 접촉이 풍부한 비디오 생성에 효과적인 지침을 제공하여, 경쟁력 있는 시각적 품질을 유지하면서 물리적 타당성을 향상시킴을 보여줍니다.

arXiv:2610.15722v1cs.CV공통 태그 physics simulation

PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법

PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.

arXiv:2610.13947v1cs.CV공통 태그 physics simulation

물리적으로 근거한 관절형 3D 에셋을 향하여: 멀티 에이전트 파이프라인과 벤치마크

Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark

본 논문에서는 물리적으로 근거한 관절형 3D 에셋 생성을 연구하며, 목표를 객체가 어떻게 보이는지를 재현하는 것에서 객체가 어떻게 움직이고 기능하는지를 포착하는 것으로 전환한다. 절차적(procedural) 생성 및 에이전트 기반(agentic) 생성에 관한 문헌에서 영감을 받아, 우리는 Artisan을 제시한다. Artisan은 최신 기법인 Articraft를 확장하여 물리 시뮬레이션 피드백을 포함하는 멀티 에이전트 파이프라인을 도입함으로써, 기하학(geometry), 외형(appearance), 그리고 물리적으로 타당한 관절 운동을 넘어서는 충돌 없는 움직임, 중력 하에서의 안정성, 정확한 질량 및 재질 속성과 같은 포괄적인 속성들을 가능하게 하는 시스템이다. 더 나아가, 우리는 공간적 충실도(spatial fidelity), 물리적 타당성(physical plausibility), 다운스트림 과업 성능, 전반적인 품질이라는 네 가지 핵심 측면을 포괄하는 통합 벤치마크를 구축한다. 이 벤치마크는 ArtVIP와 LightWheel에서 가져온 100개의 참조 에셋, 50개의 안정성 프롬프트, 그리고 참조 질량을 가진 50개의 ABO 객체를 포함하며, 다양한 지표를 평가하는 프로토콜을 갖추고 있다. 10개 이상의 대표적인 모델에 대한 광범위한 평가를 통해, Artisan은 경쟁력 있는 공간적 충실도를 달성하면서 평가된 방법들 중 가장 낮은 충돌률과 가장 높은 안정성 비율을 달성한다. 종합적으로, 우리의 시스템과 벤치마크는 3D 생성을 물리적으로 타당하고 기능적으로 사용 가능한 에셋을 향해 발전시키기 위한 통찰을 제시한다.

arXiv:2610.10554v1cs.GR공통 태그 physics simulation

GaussianBench: 가우시안 장면 표현을 위한 물리 충실도 평가

GaussianBench: Physics-Fidelity Evaluation for Gaussian Scene Representations

3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.

arXiv:2610.10984v1cs.CV공통 태그 physics simulation

Fluid-Gen-Zero: 학습 없이 사전학습된 비디오 생성기를 물리 법칙에 그라운딩하기

Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training

본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.