Large language models (LLMs) are increasingly used to take actions in the real world and support human decision-making, yet most agents rely on parametric knowledge, fixed post-training data, retrieval, or search. This paradigm breaks down in novel domains and for sophisticated queries that cannot be answered from prior knowledge alone. Knowing the laws of physics, for instance, does not by itself enable LLMs to answer queries or complete long-horizon tasks in a complex physical system. To address this, we introduce Hierarchical Experimentalist Agents (HExA), an in-context self-improvement framework to learn from active experimentation. HExA iteratively designs and refines query-relevant experiments, learns a reusable library of composable skills from experience, and integrates experimental evidence to answer queries or take actions. HExA is training-free, compatible with any black-box model, and does not require external supervision, oracles, or offline data. To evaluate active experimentation, we introduce Interphyre, a tool-calling benchmark built on the PHYRE 2D procedural physics environment, where agents propose interventions and test hypotheses through simulation APIs. Experiments show that current LLM agents struggle in these settings, especially on the hardest levels of Interphyre. Claude Sonnet 4.6 achieves only 2% success, while HExA improves the same model to up to 77% success. HExA also improves open-weight models and outperforms agentic baselines such as ReAct and Reflexion. Moreover, using only skills learned from easier levels and transferred without active experimentation, HExA achieves 44% success, demonstrating the reusability and generalization of its learned skills. Overall, HExA shows that learning through active experimentation can help agents discover useful knowledge, acquire reusable skills, and make efficient progress on novel long-horizon tasks.
최근 비디오 생성 모델은 시각적 충실도 측면에서 큰 진전을 이루었지만, 명시적인 물리적 제어성과 타당성이 부족한 경우가 많다. 이를 해결하기 위해 일부 최근 연구는 물리 기반 렌더링으로 비디오 생성을 유도하려 시도했다. 그러나 이러한 방법들은 복잡한 물리적 특성을 정확히 모델링하고, 긴 시간 구간에 걸쳐 결과적인 물리적 행동을 효과적으로 제어하는 데 본질적인 어려움에 직면한다. 본 연구에서는 단일 이미지로부터 다양한 제어성과 물리적 현실감을 갖춘 비디오를 생성할 수 있는 새로운 프레임워크인 PhysChoreo를 제안한다. 제안 방법은 두 단계로 구성된다. 먼저 부분 인식 물리 특성 복원을 통해 이미지 내 모든 객체의 정적 초기 물리적 특성을 추정하고, 이어서 시간적 지시 기반 및 물리적으로 편집 가능한 시뮬레이션을 통해 풍부한 동적 행동과 물리적 현실감을 갖춘 고품질 비디오를 합성한다. 실험 결과 PhysChoreo는 풍부한 행동과 물리적 현실감을 갖춘 비디오를 생성할 수 있으며, 여러 평가 지표에서 최신(state-of-the-art) 방법들을 능가함을 보여준다.
텍스트 설명 기반 인간 모션 합성에서 의미론적 충실도와 물리적 현실감의 트레이드오프를 해소하기 위해, ICMPG는 LLM 플래너가 생성한 후보 모션을 물리 시뮬레이션과 의미 정렬로 평가·선택하는 모델 예측 제어(MPC)형 폐루프 프레임워크를 제안한다. 표준·제로샷 개방 어휘 설정에서 과제별 정책 재학습 없이도 다양한 명령에 강건하게 일반화하며, 평가 벤치마크에서 기존 방법보다 물리적으로 더 타당하고 의미론적으로 더 충실한 모션을 생성한다.
게임 월드 모델의 물리 법칙 편집 가능성을 지원하기 위해, UE5 재생(replay) 파이프라인을 활용해 동일한 장면·행동·카메라 조건에서 중력 설정만 변경한 매칭 롤아웃을 구축한 대규모 멀티모달 데이터셋 PhysEditWorld를 제안한다. 12개의 시네마틱 UE5 장면과 6천만 개 이상의 렌더링 프레임, RGB·깊이·노멀·오디오·중력 레이블 등 동기화된 멀티모달 신호를 포함하며, 생성 비디오 모델 및 비전-언어(vision-language) 모델 실험에서 중력 충실 역학 모델링 개선 가능성을 확인했다.
V-JEPA의 의미 특징을 단안 깊이 추정으로 3D 복셀 격자에 역투영한 뒤, 명시적 물리 시뮬레이터 없이 체적 특징 이류(Volumetric Feature Advection)로 암시적 3D 물리 역학을 자기지도 학습하는 Neural Voxel Dynamics 프레임워크를 제안한다. 물리 엔진 내부 상태나 레이블 없이 동영상 신호만으로 학습하여 CLEVERER, PhysInOne, PhysGaia 벤치마크에서 강체·유체 등 이질적 물리 현상을 단일 파이프라인으로 시뮬레이션하며 기존 2D 세계 모델을 능가하는 물리적 타당성을 보인다.
현실적인 인간-물체 상호작용(HOI) 합성은 체화된 아바타와 기능적인 가상 환경을 만드는 데 핵심적이다. 그러나 현재 데이터 기반 접근법은 주로 모션 캡처(motion capture) 데이터셋에 의존하며, 이는 확장에 비용이 크고 기능적 다양성이 제한적이다. 이러한 데이터셋으로 학습된 모델은 보이지 않은 객체에 일반화하지 못하고 긴 시간 구간(long horizon)에 걸쳐 물리적 일관성을 유지하지 못한다. 본 논문에서는 HOI 생성의 데이터 부족 병목을 극복하기 위해 물리 시뮬레이터를 활용하는 새로운 프레임워크를 제안한다. 구체적으로, 물리 시뮬레이터에서 강화학습으로 학습된 정책을 활용해 과제 지향적 데이터 생성을 수행하고, 증강된 데이터셋 위에서 생성 모델을 학습하여 일반화 가능한 HOI 생성을 달성하는 확장 가능한 파이프라인 Policy-as-Data를 제안한다. 합성 데이터를 원활히 활용하기 위해, 물리 시뮬레이터에서 사용되는 단순화된 모델과 생성 학습에 필요한 표준 파라미터 신체 모델 간의 표현 차이를 연결하는 coarse-to-fine 리타게팅(retargeting) 과정을 도입한다. 포괄적 실험을 통해 검증한 결과, 제안 방법은 보이지 않은 객체에 대한 향상된 일반화와 장기간 생성 능력을 보여 주며, 더 큰 동적 다양성과 물리적 타당성을 나타낸다.
센서 관측값으로부터 시뮬레이션 가능한 관절형 객체(articulated object)의 디지털 트윈을 재구성하는 작업은 여전히 두 가지 지속적인 격차로 인해 제한됩니다: (i) 부품(part) 수준의 기하학적 재구성이 운동학적 매개변수 추정과 분리되어 있으며, (ii) 복원된 모델(model)은 에너지 보존과 같은 기본적인 동적 불변성을 종종 위반하여, 물리 시뮬레이터에서 URDF를 재생할 때 드리프트(drift)가 발생합니다. 본 논문에서는 KinemaForge를 소개합니다. 이는 제약 조건 기반 파이프라인으로, 짧은 RGB-D 시퀀스에서 부품 수준의 형상, 관절 위상(topology), 관절 매개변수를 공동으로 추론(inference)하고, 미분 가능한 강체 역학(rigid-body dynamics)을 기반으로 구축된 에너지 일관성 검증기를 통해 결과를 검증합니다. 이 파이프라인은 세 가지 구성 요소를 도입합니다: 관절-부품 관계를 소프트 엣지(soft edge)로 인코딩하는 운동학적 제약 그래프; 렌더링된 관측값으로부터 Featherstone의 아티큘레이티드 바디 알고리즘을 거쳐 관절 매개변수까지 역전파하는 미분 가능한 스크류 축(screw-axis) 솔버; 그리고 재구성된 모델의 비물리적 자유 응답(free response)에 페널티를 부여하는 에너지 잔차 손실(loss)입니다. 5개의 PartNet-Mobility 카테고리와 내부 RGB-D 벤치마크(benchmark)에서 KinemaForge는 가장 강력한 기하학적 기준선(baseline)인 PARIS 대비 평균 관절 축 오차를 4.52도에서 2.83도(-37.4%)로, 상호작용 기반 기준선인 Ditto 대비 5.30도에서 2.83도(-46.6%)로 감소시켰습니다. 또한 50초 롤아웃(rollout) 동안 장기 시뮬레이션 드리프트(drift)를 64%(PARIS 대비) 줄였으며, 예비 평가 결과 Ditto 대비 폐루프 조작 성공률이 14.6%p 향상된 URDF를 생성했습니다. 코드와 재구성 데이터는 논문 수락 시 공개될 예정입니다.
정확한 기계적 특성(또는 재료)인 영률($E$), 푸아송 비($ν$), 밀도($ρ$)는 디지털 세계의 신뢰할 수 있는 물리 시뮬레이션에 필수적이지만, 대부분의 3D 자산은 이 정보가 부족합니다. 우리는 다양한 표현 방식에 걸쳐 입력 3D 객체에 대한 정확하고 공간적으로 변화하는 밀한($E$, $ν$, $ρ$)을 예측하여 최첨단 기술 대비 해상도, 정확도, 메모리 효율성을 향상시키는 AdaVoMP 방법을 제안합니다. 우리 기술의 기초는 입력 3D 형상과 재질 필드 출력을 모두 효율적으로 표현하는 희소 적응형 복셀 구조 SAV입니다. 우리는 가장 정확한 이전 방법인 VoMP의 고정 복셀 모델을, 모든 입력 형상에 대해 재질을 표현하는 고유한 SAV를 자기회귀적으로 생성하도록 학습하는 새로운 희소 트랜스포머 인코더-디코더 모델로 대체하여, 기존 연구보다 $16^3\times$ 더 높은 해상도를 달성했습니다. 실험 결과, AdaVoMP는 모든 기존 연구보다 적은 테스트 시간 연산량으로도 더 정확한 체적 특성을 추정하는 것으로 나타났습니다. 이를 통해 고해상도의 복잡한 3D 객체를 시뮬레이션 준비된 자산으로 변환할 수 있으며, 이는 현실적인 변형 시뮬레이션으로 이어집니다.
최근 비디오 디퓨전 모델들은 대규모 생성형 월드 모델로서 인상적인 성능을 달성했습니다. 그러나 이러한 모델들은 종종 세밀한 물리적 일관성을 유지하는 데 어려움을 겪으며, 시간이 지남에 따라 물리적으로 타당하지 않은 역학을 나타냅니다. 본 연구에서는 비디오 디퓨전 모델로부터 물리적으로 일관된 4D 세계 표현을 학습하는 파이프라인인 Phys4D를 제안합니다. Phys4D는 외관 기반 비디오 디퓨전 모델을 점진적으로 물리적으로 일관된 4D 세계 표현으로 격상시키는 3단계 학습 패러다임을 채택합니다. 먼저 대규모 의사 지도 사전학습을 통해 강건한 기하학 및 모션 표현을 구축하여 4D 장면 모델링의 기반을 마련합니다. 그 다음 시뮬레이션 생성 데이터를 사용하여 물리 기반 지도 미세조정을 수행하여, 시간적으로 일관된 4D 역학을 부과합니다. 마지막으로, 명시적 지도를 통해 포착하기 어려운 잔여 물리적 위반을 수정하기 위해 시뮬레이션 기반 강화학습을 적용합니다. 외관 기반 지표를 넘어 세밀한 물리적 일관성을 평가하기 위해, 기하학적 응집성, 모션 안정성, 장기적 물리적 타당성을 검증하는 4D 세계 일관성 평가 세트를 도입합니다. 실험 결과, Phys4D는 강력한 생성 성능을 유지하면서 외관 기반 베이스라인과 비교하여 세밀한 시공간 및 물리적 일관성을 상당히 개선함을 보여줍니다. 우리의 프로젝트 페이지는 https://sensational-brioche-7657e7.netlify.app/ 에서 확인할 수 있습니다.
변형 가능한 객체의 충돌을 시뮬레이션하는 것은 고체 역학(solid mechanics)과 다물체 상호작용(multi-body interactions)의 복잡성으로 인해 근본적이면서도 어려운 과제이다. 기존의 데이터 기반 방법들은 물리적 대칭성에 대한 등변성(equivariance) 부재, 충돌 처리의 미흡함, 그리고 제한된 확장성 문제를 흔히 겪는다. 본 논문에서는 변형 가능한 객체와 그 충돌을 위한 최초의 종단간 등변 신경 필드(neural fields) 시뮬레이터인 EqCollide를 소개한다. 우리는 객체의 형상과 속도를 잠재 제어점(control points)으로 매핑하는 등변 인코더를 제안한다. 이어지는 그래프 신경망(GNN) 기반 신경 상미분방정식(Neural Ordinary Differential Equation)은 충돌 인식 메시지 패싱(collision-aware message passing)을 통해 제어점 간 상호작용을 모델링한다. 속도 필드를 재구성하기 위해, 제어점 특징에 조건부로 설정된 신경 필드를 질의함으로써 연속적이고 해상도 독립적인 모션 예측을 가능하게 한다. 2D 및 3D 시나리오에 대한 실험 결과, EqCollide는 다양한 객체 구성에서 정확하고 안정적이며 확장 가능한 시뮬레이션을 달성함을 보인다. 최고 성능 기준선(baseline) 모델과 비교하더라도 롤아웃 MSE를 24.34%에서 57.62%까지 낮추는 성과를 거두었다. 또한 EqCollide는 더 많은 충돌 객체와 확장된 시간적 지평선으로 일반화할 수 있으며, 군 작용(group action)으로 변환된 입력에 대해서도 강건성을 유지한다. 코드는 https://github.com/AI4Science-WestlakeU/EqCollide 에서 확인할 수 있다.