물리 기반 비디오 생성은 접촉, 변형 및 외력 하에서 물리적으로 일관성을 유지하는 제어 가능한 3D 객체 역학을 필요로 합니다. 기존의 궤적 기반 방법들은 종종 고립된 물리적 효과를 모델링하여, 접촉이 풍부한 3D 장면에서 보존적(conservative) 및 비보존적(non-conservative) 역학을 결합하기 어렵게 만듭니다. 우리는 접촉이 풍부한 3D 객체 역학을 위한 신경 에너지 필드 프레임워크인 NEXUS를 제안합니다. NEXUS는 각 객체를 구조적 그래프로 표현하고 동적인 객체-객체 및 객체-환경 접촉 그래프를 구성합니다. 해밀토니안 신경망(Hamiltonian Neural Networks)에서 영감을 받아, NEXUS는 상태나 가속도를 직접 예측하는 대신 스칼라 에너지와 소산(dissipation) 항을 통해 운동을 공식화합니다. 중력과 탄성 변형을 포함한 보존적 효과는 가산적 에너지 항으로 구성되는 반면, 감쇠와 충격으로 인한 에너지 손실과 같은 비보존적 효과는 학습된 레일리 스타일 소산으로 모델링됩니다. 힘은 에너지 및 소산 함수를 미분하여 도출되며, 다중 서브스텝 반-암시적 적분기(multi-substep semi-implicit integrator)를 사용하여 시뮬레이션됩니다. 제어된 궤적 벤치마크(benchmark) 전반에서, NEXUS는 다양한 기계적 특성과 물리적 효과 구성 하에서 대표적인 학습 기반 및 물리 구조화된 역학 기준 모델(baseline)들보다 장기 정확도를 향상시킵니다. 또한, 우리는 NEXUS 궤적이 접촉이 풍부한 비디오 생성에 효과적인 지침을 제공하여, 경쟁력 있는 시각적 품질을 유지하면서 물리적 타당성을 향상시킴을 보여줍니다.
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.
본 논문에서는 물리적으로 근거한 관절형 3D 에셋 생성을 연구하며, 목표를 객체가 어떻게 보이는지를 재현하는 것에서 객체가 어떻게 움직이고 기능하는지를 포착하는 것으로 전환한다. 절차적(procedural) 생성 및 에이전트 기반(agentic) 생성에 관한 문헌에서 영감을 받아, 우리는 Artisan을 제시한다. Artisan은 최신 기법인 Articraft를 확장하여 물리 시뮬레이션 피드백을 포함하는 멀티 에이전트 파이프라인을 도입함으로써, 기하학(geometry), 외형(appearance), 그리고 물리적으로 타당한 관절 운동을 넘어서는 충돌 없는 움직임, 중력 하에서의 안정성, 정확한 질량 및 재질 속성과 같은 포괄적인 속성들을 가능하게 하는 시스템이다. 더 나아가, 우리는 공간적 충실도(spatial fidelity), 물리적 타당성(physical plausibility), 다운스트림 과업 성능, 전반적인 품질이라는 네 가지 핵심 측면을 포괄하는 통합 벤치마크를 구축한다. 이 벤치마크는 ArtVIP와 LightWheel에서 가져온 100개의 참조 에셋, 50개의 안정성 프롬프트, 그리고 참조 질량을 가진 50개의 ABO 객체를 포함하며, 다양한 지표를 평가하는 프로토콜을 갖추고 있다. 10개 이상의 대표적인 모델에 대한 광범위한 평가를 통해, Artisan은 경쟁력 있는 공간적 충실도를 달성하면서 평가된 방법들 중 가장 낮은 충돌률과 가장 높은 안정성 비율을 달성한다. 종합적으로, 우리의 시스템과 벤치마크는 3D 생성을 물리적으로 타당하고 기능적으로 사용 가능한 에셋을 향해 발전시키기 위한 통찰을 제시한다.
본 논문에서는 물리적 추론과 외형 합성을 분리하여 물리 인지 유체-물체 상호작용 비디오 생성을 가능하게 하는 학습 불필요(training-free) 프레임워크인 Fluid-Gen-Zero를 제시합니다. 본 연구의 핵심 통찰은 사전학습(pre-training)된 비디오 생성 모델의 외형 모델링 능력을 보존하면서, 움직임 역학(motion dynamics)을 물리 시뮬레이터에 위임하는 것입니다. 우리는 두 수준의 에이전트(agent) 워크플로를 통해 이 두 영역을 연결합니다. 첫째는 비전-언어 모델(VLM) 에이전트가 의도와 시뮬레이션 롤아웃(rollout)을 해석하여 생성 클립을 구성하는 생성 시점 계획(generation-time planning)이며, 둘째는 영역 인지 잠재 래핑(region-aware latent wrapping)을 통해 시뮬레이션 신호를 디노이징 과정에 주입하는 잠재 공간 유도(latent-space guidance)입니다. 이러한 플러그 앤 플레이 설계는 기존의 비디오 기반 모델들과 호환됩니다. 나아가 유체-물체 상호작용 비디오 생성을 위한 벤치마크를 도입합니다. Tora(CogVideoX 기반), VACE 및 WanMove(Wan 기반) 전반에서 Fluid-Gen-Zero는 시각적 품질을 크게 저하시키지 않으면서도 시뮬레이션 정렬(alignment)을 일관되게 향상하여, 물체 궤적 오차를 26.7%-81.5%, 유체 fEPE(fluid flow endpoint error)를 67.9%-84.0% 줄였습니다. 인간 선호도 평가에서 평가자들은 세 가지 백본에 걸친 동일 백본 비교의 55.1%-74.4%, 시뮬레이션 기반 방법들과의 비교에서는 90.4%-94.2%에서 Fluid-Gen-Zero를 선호했습니다. 코드와 데이터는 논문 채택 시 공개될 예정입니다.
3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.
고충실도 변형체(deformable body)의 신경망 기반 시뮬레이션은 컴퓨터 그래픽스와 물리 AI 분야의 근본적인 과제입니다. 고해상도 3D 볼류메트릭 메시(volumetric mesh)에 대한 장기 예측(long-horizon prediction)은 매우 어렵습니다. 자기회귀(autoregressive) 방식은 오차 누적에 취약하며, 고유 해상도에서의 직접적인 다중 프레임 예측은 계산 비용이 지나치게 큽니다. 이는 메시 기반 볼류메트릭 물리에서는 거의 연구되지 않았던 소형 시공간 잠재 표현(compact spatiotemporal latent representation)의 필요성을 시사합니다. 한편, 결정론적 회귀(deterministic regression)와 생성적 확산(generative diffusion) 중 어떤 것이 더 적합한 예측 패러다임인지도 여전히 불분명합니다. 이러한 복합적인 과제를 해결하기 위해, 본 논문에서는 원샷 볼류메트릭 변형체 시뮬레이션을 위한 통합 잠재 확산 패러다임인 PhysLDM을 소개합니다. PhysLDM의 핵심은 일반적인 비디오 VAE와 같은 표준 시간 압축 방식의 "계단식(staircase)" 아티팩트를 방지하는 총체적 시공간 VAE로, 최대 78배의 토큰 압축률에서 미터 규모 장면에 대해 약 2.48mm의 재구성 정밀도를 달성합니다. 신뢰할 수 있는 이 잠재 공간을 기반으로 회귀 및 확산 방식을 체계적으로 비교합니다. 실험을 통해 복잡한 변형체 동역학이 종종 카오스적(chaotic)이며, 이러한 조건에서 결정론적 회귀는 비물리적 평균을 생성하는 경향이 있는 반면 확산 모델은 해당 분포를 더 잘 모델링한다는 핵심 모델링 통찰을 발견했습니다. 이에 따라 카오스적 데이터로부터 효과적으로 학습하여 물리적으로 타당한 궤적을 생성하는 잠재 확산 모델을 적용합니다. Objaverse 규모의 데이터셋에서 순수하게 운동학적(kinematically)으로 학습된 단일 PhysLDM 모델은 미지의 분포 외(OOD) 데이터셋(GSO 및 Toys4K)에 대해서도 제로샷(zero-shot)으로 일반화됩니다. 또한 미분 가능성을 바탕으로 역문제(inverse problem) 해결 및 고차 설계 최적화를 효율적으로 수행할 수 있습니다. 우리가 아는 한, PhysLDM은 볼류메트릭 변형체 동역학을 위한 최초의 고충실도 시공간 오토인코더이자 잠재 확산 패러다임으로, 신경망 시뮬레이션을 위한 확장 가능하고 견고한 접근법을 제시합니다.
시뮬레이션 준비가 완료된 변형 가능 자산(deformable asset)은 컴퓨터 시뮬레이션(in-silico) 기반 로봇 조작 작업에 필수적이지만, 기존 생성 프레임워크는 대개 생성 이후에 물리적 타당성을 평가하므로 객체의 시뮬레이션 반응을 상위 단계의 오류 수정을 위한 피드백으로 활용하지 못합니다. 본 논문에서는 단일 야생 환경(in-the-wild) 이미지를 '생성--시뮬레이션--진단--개선' 루프를 통해 시뮬레이션 준비가 완료된 변형 가능 자산으로 변환하는 에이전틱(agentic) 프레임워크인 DiagGen을 제안합니다. DiagGen은 부위 인식(part-aware) 지오메트리 및 재질 매개변수를 구축한 후, 비전-언어 모델(VLM) 기반 에이전트(agent)를 활용하여 의미적으로 유의미한 영역을 선택하고, 물리 시뮬레이터에서 이를 탐침(probe)하며, 재질 반응을 관찰하고, 근거 기반 수정 신호를 해당 생성 단계로 전달합니다. 40개의 자산을 대상으로 한 실험을 통해 진단 과정이 유용한 수정 신호를 제공하며 생성된 변형 가능 자산의 품질을 일정 수준 향상시킬 수 있음을 보여줍니다. 마지막으로, 시뮬레이션이 불가능할 수 있는 시각 파운데이션 모델 기반 생성 자산과 달리, DiagGen으로 생성된 변형체는 고충실도 물리 시뮬레이터에 직접 투입되어 접촉이 빈번한 집기 및 놓기(pick-and-place) 작업의 계획 및 시뮬레이션에 활용될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://diaggen.github.io/ 입니다.
자연어 설명으로부터 동적이고 물리적으로 사실적인 4D 세계를 생성하는 것은 흥미롭기도 하고 도전적이기도 하다. 전통적인 컴퓨터 그래픽스(computer graphics) 방법은 수동 생성에 의존하며, 재질, 움직임, 시각적 충실도를 파인튜닝(fine-tuning)하기 위해 상당한 인적 노력이 필요하다. 생성형 기반 모델(generative foundation models)의 최근 발전은 대규모 데이터로부터 이러한 4D 세계를 생성하는 학습에 대한 관심을 불러일으켰다. 그러나 기존 방법들은 여전히 물리적 타당성(physical plausibility)과 제어 가능성(controllability)을 보장하는 데 어려움을 겪는다. 본 연구에서는 기반 모델(foundation models)을 활용하여 인간이 전통적으로 4D 세계를 생성하는 방식을 모방하면서도 전 과정을 자동화하는 에이전트적(agentic) 시스템을 구축하는 다른 접근을 취한다. GS-Agent를 제안한다. 이는 루프 내 물리 엔진(physics engines in the loop)을 통합하여 자연어로부터 사실적이고 동적이며 제어 가능한 4D 물리 세계를 생성하는 end-to-end 다중 에이전트(multi-agent) 프레임워크이다. 인간이 4D 세계를 구축하는 방식에서 영감을 받아, GS-Agent는 작업을 엔티티 관리(entity management)와 렌더링 구성(rendering configuration)으로 분해한다. 전자는 3D 에셋 큐레이션(3D asset curation), 재질 튜닝(material tuning), 배치(placement), 운동 제어(motion control)를 포함하고, 후자는 카메라 및 조명 조작(camera and lighting manipulation)을 포함한다. 서로 다른 전문성을 갖춘 여러 에이전트가 코드를 통해 물리 엔진과 상호작용하고, 멀티모달(multimodal) 피드백을 구하며, 협력하여 주어진 설명과 일치하는 4D 세계를 반복적으로 구축한다. 실험 결과는 GS-Agent가 자연어를 다양하고 물리적으로 타당한 4D 세계로 효과적으로 변환하며, 액체, 변형 가능 객체(deformable objects), 강체(rigid bodies) 간의 풍부한 상호작용을 보여주고, 영화적(cinematic) 카메라 및 조명 제어를 달성함을 보여준다. GS-Agent를 4D 세계 생성의 새로운 패러다임의 기반으로 상상하며, 창의적 콘텐츠 생성과 물리 AI(physical AI)를 가능하게 할 것으로 기대한다. 프로젝트 페이지: https://umass-embodied-agi.github.io/gs-agent/
통합되고 확장 가능한 트랜스포머는 최근 3D 시각 효과, 렌더링 과정, 영상 속 움직임 등 컴퓨터 그래픽스와 전통적으로 연관된 다양한 현상을 모델링하는 데 눈에 띄는 성공을 거두었다. 본 연구에서는 현대적인 트랜스포머 기법이 도전적인 과제인 천 시뮬레이션을 다룰 수 있는지 조사함으로써 한 걸음 더 나아간다. 이를 위해 천 시뮬레이션을 학습된 잠재 공간에서의 자기회귀(autoregressive) 시퀀스 모델링으로 재공식화하는 프레임워크인 ClothTransformer를 제안한다. 기존 신경망 기반 천 시뮬레이터는 대체로 단일 시나리오에 특화되어 있고, 메시 이산화(mesh discretization)에 본질적으로 결합되어 있으며, 견고한 충돌 처리가 부족하다. 우리 접근법은 세 가지 기여를 통해 이러한 한계를 해결한다: (1) 신체 구동 의류(body-driven garments), 로봇 조작(robotic manipulation), 자유 낙하 충돌(free-fall collisions) 등 다양한 시나리오를 단일 모델로 처리하는 통합 트랜스포머 아키텍처로, 모든 시나리오에서 기존 최첨단(state-of-the-art) 방법 대비 약 4~9배 낮은 오류를 달성한다; (2) 임의 해상도의 메시를 고정 크기의 잠재 토큰(latent token) 집합으로 압축하여 시간적 역학(temporal dynamics) 계산이 메시 해상도와 무관해지도록 하는 확장 가능한 잠재 공간(latent-space) 공식화; (3) 세 가지 설정을 모두 아우르는 약 49.34만 프레임 규모의 다양한 시나리오 고충실도 무관통(penetration-free) 데이터셋으로, 미분 가능한 연속 충돌 검출(Continuous Collision Detection, CCD) 모듈이 관통(penetration) 아티팩트를 억제할 수 있게 한다. 프로젝트 페이지: https://yucrazing.github.io/clothtransformer/
변형 가능 객체를 시뮬레이션하는 것은 다양한 로봇 조작(manipulation) 응용에서 필수적이지만, 그 동역학을 정확히 예측하는 것은 여전히 어렵다. 우리는 물리 기반 및 학습 기반 접근법의 장점을 결합하는 하이브리드 시뮬레이션 프레임워크인 물리 유도 잔차 동역학(Physics-Guided Residual Dynamics, PGRD)을 제안한다. 구체적으로, PGRD는 최적화 가능한 스프링-질량(simulator) 시뮬레이터를 백본으로 사용하고, 물리 기반 예측에 대한 잔차 보정(residual correction)을 예측하는 학습된 신경망을 결합한다. 우리는 안정적인 시뮬레이션을 위해 속도 기반 공식화(velocity-based formulation)를 채택하고, 시간적 의존성을 포착하기 위해 슬라이딩 윈도우(sliding-window) 트랜스포머 아키텍처를 사용한다. PGRD가 다양한 실세계 변형 가능 객체에 대해 순수 물리 기반 및 학습 기반 방법 모두보다 더 정확한 결과를 생성함을 보인다. 또한 PGRD의 유용성을 두 가지 응용에서 입증한다: 생성된 목표 이미지를 포함한 언어 조건(language-conditioned) 설정에서의 모델 예측 제어(Model Predictive Control, MPC)를 통한 조작 계획(manipulation planning), 그리고 3D Gaussian Splatting을 통한 행동 조건(action-conditioned) 비디오 예측에 의한 대화형 시뮬레이션.
기존 생성 모델들은 평탄한 유클리드 공간에서 데이터 분포를 학습한다. 그러나 실세계의 대부분의 데이터는 고차원 유클리드 공간에 내재된 다양체(manifold)이다. 이에 우리는 공기역학 분야의 데이터 생성을 위한 내재 기하학 기반 생성적 적대 신경망(IG-GAN)을 제안한다. IG-GAN의 생성자는 공기역학 데이터를 베지에 곡면(Bézier surfaces)으로 구성된 조각별 매끄러운 다양체로 표현하며, 각 베지에 곡면의 계수를 학습하여 복수의 베지에 곡면을 자동으로 매끄러운 다양체로 결합한다. IG-GAN의 판별자는 방사 기저 함수(RBF) 기반 판별자(RBF-D)이다. 실험 결과, IG-GAN은 세 가지 베이스라인 대비 더 낮은 예측 평균 제곱 오차(MSE)를 달성하였다. 구체적으로, Burgers' equation 데이터셋에서 IG-GAN은 최신 기법인 SSL-트랜스포머 대비 속도 u의 예측 MSE를 97.41% 감소시켰다. 또한 ONERA M6 항공기 데이터셋에서 IG-GAN은 SSL-트랜스포머 대비 9개 공기역학 계수의 전체 MSE를 82.95% 감소시켰다.
편미분 방정식(PDE)은 과학 및 공학 모델링의 근간이지만, 신뢰할 수 있는 수치 솔버를 구축하는 것은 여전히 노동 집약적이며 이산화 기법, 안정성 조건, 경계 처리에 대한 전문 지식을 요구한다. 최근 연구에서는 PDE 풀이를 대규모 언어 모델(LLM)의 코드 생성 과제로 구성하기 시작했지만, 기존 접근 방식은 주로 추론 시점에서 작동하며 모델 자체를 적응시키기보다는 프롬프팅, 디버깅, 자기 수정, 테스트 시간 스케일링에 의존한다. 동시에, 검증 가능한 보상을 활용한 강화학습이 코드 및 수학 추론을 위한 사후 학습 패러다임으로 부상했지만, 이러한 검증기는 일반적으로 이진적이다: 컴파일러가 실행되거나, 테스트가 통과되거나. 이러한 신호는 과학적 정확성의 등급 구조를 무시하는데, 두 솔버가 모두 실행되더라도 해의 정확도에서 수십 배 이상 차이가 날 수 있다. 본 연구에서는 다중 PDE 솔버 코드 생성을 위한 강화학습 사후 학습 프레임워크인 RLVP(Reinforcement Learning with Verifiable Physics)를 소개한다. RLVP는 하이브리드 검증기로 이 검증 가능성 격차를 해소한다: 엄격한 프로그램 유효성 검사가 실행 가능성을 보장하는 한편, 연속 물리학 보상이 함수 공간 정확도와 PDE 잔차 일관성을 평가한다. 단일 정책이 쌍곡형, 포물형, 타원형, 비압축성 유동 시스템을 아우르는 다양한 PDE 계열에 걸쳐 사후 학습된다. RLVP는 PDE 벤치마크에서 사전학습 및 지도학습 단독 기준 모델 모두를 능가하며, 보류된 PDE에 대한 제로샷 성능 향상 전이를 보여준다. RLVP로 사후 학습된 소규모 LLM이 분포 내 PDE 솔버 생성에서 최첨단 모델을 프롬프팅하는 것보다 우수한 성능을 발휘할 수 있음을 보인다. 학습된 정책은 수치적 모티프에서 조합성의 증거를 나타낸다: 학습에 사용된 PDE로부터 습득한 스텐실, 시간 진행 기법, 경계 처리 기본 요소를 재조합하여 미지의 PDE 문제를 위한 솔버를 생성한다.
기존 신경망 PDE 솔버들이 단일 GPU의 VRAM 한계로 처리 가능한 메시 해상도가 제약되는 문제를 해결하기 위해, PGD-NO는 기하 인코딩 연산을 결정론적 사전 계산 단계로 분리하여 1,000만 노드 이상의 대규모 메시에서도 선형적 메모리 확장성을 달성한다. 반복적 기하 분해 알고리즘으로 추출한 geometry token을 활용해 특징 추출과 솔루션 쿼리를 분리함으로써, 다양한 산업용 벤치마크에서 경쟁력 있는 예측 정확도와 어텐션 기반 해석 가능성을 함께 제공한다.
해밀토니안 생성 네트워크(HGN)가 소산(dissipative) 환경에서 학습 범위 밖의 스텝 크기로 롤아웃할 때 발생하는 실패 원인—제약 없는 액션-포스 맵으로 인한 잠재 표현 크기 폭발과 적분기의 전역 절단 오차 누적—을 체계적으로 분석하고, 각 메커니즘에 대한 수정 방법을 제안하여 학습 분포 밖에서도 안정적인 동역학 예측이 가능함을 입증한다.
단일 이미지에서 물리적으로 일관된 3D 동적 콘텐츠를 생성하기 위해, PhyMAGIC은 사전학습된 이미지-투-비디오 모델로 다양한 motion probe를 합성하고 비전-언어 모델(VLM)의 신뢰도 점수 기반 반복 정제를 통해 밀도·탄성·항복 응력 등 물리 속성을 추론한 뒤, 미분 가능한 Material Point Method(MPM) 시뮬레이터에서 실행하는 학습 불필요(training-free) 프레임워크다. PhysGaussian, PhysGen 등 다양한 실험에서 기존 최신 비디오 생성 모델 및 물리 인식 기반 모델 대비 동작-텍스트 정렬과 물리적 타당성 모두에서 우수한 성능을 달성했다.
OrchardBench은 Newton/MuJoCo-Warp 엔진 위에서 확률론적 L-시스템으로 생성된 사과나무를 오일러-베르누이 빔 이론 기반의 완전 관절 역학계로 표현하고, 가지 파단·과일 분리·이동형 잎 층 가림 현상까지 물리적으로 재현하는 GPU 병렬 농업 로봇 시뮬레이션 벤치마크이다. 8GB 랩톱 GPU에서 다수의 병렬 환경을 인터랙티브한 속도로 실행할 수 있으며, 자율 수확 기준선은 감지한 과일의 약 40%, 도달 가능한 과일의 약 12.5%만 수확해 향후 학습 기반 자율화 방법의 개선 여지를 명확히 보여준다.
RGB 이미지만을 입력으로 받아 중력 방향을 물리적 사전(prior)으로 활용하는 GARDEN 프레임워크를 제안하며, 씬을 Gravity-View 프레임에 정렬한 후 전경 강체 객체를 6-DoF 메시로 분리하고 배경에서 중복 형상을 제거하는 방식으로 시뮬레이션 즉시 활용 가능한 3D 환경을 재구성한다. CAD 검색 기반 기존 방법 대비 처리 시간을 대폭 단축(4330s → 560s)하면서 객체 배치 신뢰성, 분리 품질, 렌더링-시뮬레이션 효율성을 향상시킴을 실험으로 입증한다.
복잡한 다이내믹스에 대한 정밀한 제어는 현대 비디오 생성 모델에서 여전히 어려운 과제로, 텍스트 프롬프트만으로는 물리적으로 그럴듯하고 세밀한 동작 및 상호작용을 지정하기 어렵다. 우리는 물리 기반 시뮬레이션 또는 실세계 녹화에서 얻은 거친 프록시 비디오가 다이내믹스 캐리어로서 전경 객체의 동작을 제어하는 $\textit{프록시 조건부 비디오 생성}$을 제안한다. 프록시 비디오와 텍스트 프롬프트가 주어졌을 때, 목표는 프록시 다이내믹스를 보존하면서 프롬프트에 정렬된 새로운 콘텐츠와 그럴듯한 상호작용을 생성하는 새 비디오를 합성하는 것이다. 쌍을 이루는 프록시-타깃 비디오를 확보하기 어렵기 때문에, 우리는 사전학습된 비디오 생성 모델 위에 구축된 학습 불필요 프레임워크인 $\textbf{ProxyUp}$을 제안한다. ProxyUp은 먼저 프록시 비디오를 중간 잠재 표현으로 역변환하고 $\textbf{영역별 잠재 노이징(region-wise latent noising)}$을 적용하여, 동작에 핵심적인 프록시 잠재 표현을 보존하면서 텍스트 기반 재생성이 의도된 영역에 노이즈를 주입한다. 이러한 휴리스틱 잠재 합성으로 인해 발생하는 분포 불일치 및 약한 전경-배경 결합 문제를 완화하기 위해, ODE 샘플링 전에 합성된 잠재 표현을 모델의 학습된 분포 방향으로 점진적으로 완화하는 $\textbf{확률적 플로우 완화(Stochastic Flow Relaxation, SFR)}$를 추가로 제안한다. 시뮬레이션 및 실세계 프록시 모두에 대한 실험에서 ProxyUp은 동적 충실도와 텍스트 정렬 측면에서 강력한 비디오 편집 및 모션 전이 베이스라인을 능가함을 보인다.
물리적으로 정확한 거울 반사를 합성하는 것은 현대 텍스트-이미지 확산 모델에서 여전히 근본적인 과제이며, 이는 구현된 AI와 로봇 인식을 위한 합성 학습 데이터 생성에 점점 더 중요해지고 있습니다. 이러한 모델들은 일반적으로 엄격한 기하학적 제약을 처리하는 데 어려움을 겪어, 합성 데이터의 유용성을 저하시키는 환각을 유발합니다. 이를 해결하기 위해, 우리는 명시적 3D 공간 사전 정보를 통해 사영 기하학을 원천적으로 적용하는 새로운 엔드-투-엔드 물리 인식 생성 프레임워크인 PhysMirror를 소개합니다. 우리의 방법은 프롬프트된 객체를 자동으로 3D 메시로 변환하고, 시뮬레이션 환경 내에서 수학적으로 정확한 경량 거울 장면을 구성합니다. 이 명시적 3D 장면을 렌더링함으로써, 깊이 맵과 분할 맵과 같은 정밀한 2D 조건 요소를 추출하여 하위 확산 모델을 위한 강력한 가이딩 신호로 활용하고, 모델이 물리적으로 올바른 거울 반사가 있는 이미지를 생성하도록 유도합니다. 또한, 우리는 밀집 특징 매칭과 소실점 수렴을 사용하여 물리적 정확성을 정량화하는 참조 불필요, 완전 자동화된 지표인 Mirror Consistency Score(MCS)를 도입합니다. 새롭게 구축된 MirrOB 데이터셋에 대한 실험 결과는 우리의 접근 방식이 반사 정확도와 물리적 사실성에서 최신 기준 모델들을 능가하는 동시에 강력한 텍스트-이미지 의미 정렬을 유지하며, 구현된 AI 데이터 생성을 위한 신뢰할 수 있는 파이프라인을 제공함을 보여줍니다. 소스 코드는 https://duyphuc0701.github.io/PhysMirror 에서 공개되었습니다.
2D Rayleigh-Bénard 대류(Rayleigh-Bénard convection) 모델링을 위해 전체 해(full solution) 대신 시간 증분(time increment)을 예측하도록 FNO(Fourier Neural Operator)를 개선한 결과, 기존 FNO 대비 평균 상대 오차를 약 2 자릿수 줄이면서도 314k 파라미터, 7ms 추론이라는 경량·고속 구조를 유지하였다. 다만 FNO가 더 세밀한 메시로의 일반화는 가능하지만, 정확도는 학습 데이터의 해상도에 의해 제한됨을 실험으로 확인하였다.