변형 가능 객체 시뮬레이션을 위한 물리 유도 잔차 동역학 학습
Learning Physics-Guided Residual Dynamics for Deformable Object Simulation
한국어 초록
변형 가능 객체를 시뮬레이션하는 것은 다양한 로봇 조작(manipulation) 응용에서 필수적이지만, 그 동역학을 정확히 예측하는 것은 여전히 어렵다. 우리는 물리 기반 및 학습 기반 접근법의 장점을 결합하는 하이브리드 시뮬레이션 프레임워크인 물리 유도 잔차 동역학(Physics-Guided Residual Dynamics, PGRD)을 제안한다. 구체적으로, PGRD는 최적화 가능한 스프링-질량(simulator) 시뮬레이터를 백본으로 사용하고, 물리 기반 예측에 대한 잔차 보정(residual correction)을 예측하는 학습된 신경망을 결합한다. 우리는 안정적인 시뮬레이션을 위해 속도 기반 공식화(velocity-based formulation)를 채택하고, 시간적 의존성을 포착하기 위해 슬라이딩 윈도우(sliding-window) 트랜스포머 아키텍처를 사용한다. PGRD가 다양한 실세계 변형 가능 객체에 대해 순수 물리 기반 및 학습 기반 방법 모두보다 더 정확한 결과를 생성함을 보인다. 또한 PGRD의 유용성을 두 가지 응용에서 입증한다: 생성된 목표 이미지를 포함한 언어 조건(language-conditioned) 설정에서의 모델 예측 제어(Model Predictive Control, MPC)를 통한 조작 계획(manipulation planning), 그리고 3D Gaussian Splatting을 통한 행동 조건(action-conditioned) 비디오 예측에 의한 대화형 시뮬레이션.
원문 초록
Simulating deformable objects is essential for a wide range of robotic manipulation applications, yet accurately predicting their dynamics remains challenging. We propose Physics-Guided Residual Dynamics (PGRD), a hybrid simulation framework that combines the advantages of physics-based and learning-based approaches. Specifically, PGRD combines an optimizable spring-mass simulator as a backbone with a learned neural network that predicts residual corrections to the physics-based predictions. We adopt a velocity-based formulation to ensure stable simulation and a sliding-window transformer architecture to capture temporal dependencies. We show that PGRD produces more accurate results than both purely physics-based and learning-based methods on a set of diverse real-world deformable objects. We further demonstrate the utility of PGRD in two applications: manipulation planning via Model Predictive Control, including a language-conditioned setting with a generated goal image; and interactive simulation via action-conditioned video prediction by 3D Gaussian Splatting.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.13451v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상
GlanceWAM: Sparse Test-Time Imagination for World-Action Models
WAM-OPD: 온-정책 증류를 통한 월드 액션 모델 사후 학습을 위한 비디오-액션 공동 지도
WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation
월드 액션 모델(World Action Model, WAM)은 미래 비디오와 로봇 액션을 모두 생성하여 사후 학습(post-training) 지도를 위한 두 가지 연결된 출력을 제공합니다. 사전 학습된 WAM은 실행 중에 마주치는 이력에 대해 더 강력한 교사(Teacher) 모델로부터 어떻게 학습할 수 있을까요? 본 논문에서는 학생(Student) 모델의 롤아웃(rollout) 이력을 수집하고 교사 모델에 쌍을 이루는 비디오 및 액션 타깃을 질의하는 WAM-OPD를 제시합니다. 학생 모델은 배포 시 1단계 비디오 및 액션 생성을 유지하면서 두 타깃 모두로부터 학습합니다. 12개의 RoboTwin 2.0 태스크 전반에서 WAM-OPD는 평균 성공률을 33.8%에서 65.7%로 향상시켰으며, 4개의 실제 로봇 태스크에서는 평균 성공률을 51.4%에서 64.6%로 끌어올렸습니다. 수집된 학생 모델의 이력을 고정한 상태에서, 비디오-액션 공동 지도는 세 가지 절제 연구 태스크 모두에서 가장 높은 관찰 성공률을 달성한 반면, 두 모달리티 중 어느 하나만 단독으로 사용해도 성능이 향상되었습니다. 교사 모델이 생성한 이력과의 별도 비교에서는 두 이력 출처 간에 태스크에 따른 차이가 있음을 확인했습니다. 이러한 결과는 배포 시의 샘플링 예산을 늘리지 않고도 WAM 정책을 개선하는 데 있어 쌍을 이루는 비디오-액션 지도의 유용성을 입증합니다.
보지 않고도 예측하기: 월드 액션 모델을 위한 잠재 미래
Foresight Without Seeing: Latent Futures for World Action Models
월드 액션 모델(World Action Model, WAM)은 시각적 예측과 로봇 제어를 연결하지만, 예측 컨텍스트를 제공하려면 비용이 많이 드는 미래 비디오 생성이 요구되는 경우가 많습니다. 직접 정책(direct policy)은 이러한 비용을 피하지만 미래 인덱스 기반의 예측 정보에 접근하기 위한 명시적 인터페이스가 부족합니다. 본 논문에서는 효율적인 제어를 위해 예측(forecasting)과 렌더링(rendering)을 분리하여 잠재 예측 컨텍스트를 노출하고 형성하는 월드 액션 모델인 ForeWAM을 소개합니다. 핵심 메커니즘인 Future-KV는 현재의 시각적 잠재 벡터와 노이즈로 초기화된 미래 슬롯에 대해 단일 Video DiT 프리필(prefill)을 수행한 후, 액션 디노이징 전반에 걸쳐 생성된 키-값(key-value) 상태를 재사용합니다. 이러한 컨텍스트가 제어와 관련성을 갖도록, 학습(training) 중 고정된(frozen) 교사 모델의 잠재 액션으로 지도되는 동역학 레지스터(dynamics register)를 도입하여 상호작용으로 유도된 전이(transition) 표현을 학습하도록 유도합니다. 이 재사용 가능한 컨텍스트는 경량의 단일 층(layer) 액션 디코더를 지원합니다. 저자들은 LIBERO, LIBERO-Plus, RoboCasa 및 실제 환경의 조작 작업에서 ForeWAM을 평가합니다. 추가적인 정책 수준의 체화된 사전학습(embodied pre-training) 없이도 ForeWAM은 작업당 50개의 데모라는 동일한 예산에서 Fast-WAM 대비 RoboCasa 성공률을 9.7%p 향상시켜 59.2%를 달성했습니다. 단일 층 디코더를 통해 LIBERO-Plus에서 77.6%의 성공률을 기록했으며, NVIDIA A800에서 정책 쿼리 지연 시간을 88.7ms로 줄여 Fast-WAM 대비 6.27배의 속도 향상을 제공합니다. 이러한 결과는 잠재 예측 연산이 명시적인 미래 비디오 생성 없이도 견고하고 효율적인 제어를 위한 유용한 예측(foresight)을 제공함을 보여줍니다.
CtrlWAM: 의도와 예측이 정렬된 제어 가능한 월드 액션 모델(World Action Model)
CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight
월드 액션 모델(World Action Model, WAM)은 행동(의도)과 시각적 미래(예측, foresight)를 동시에 예측한다. 표준적인 학습 방식은 기록된 행동과 비디오에 동시에 노이즈를 추가하지만, 이러한 학습 방식은 불일치(mismatch)를 유발한다: 교란된 행동은 반사실적(counterfactual) 미래 시각 정보를 암시하지만, 노이즈가 추가된 비디오는 여전히 실제 기록(GT recording)에 묶여 있다. 저노이즈(low-noise) 구간에서는 노이즈가 추가되었음에도 장면 기하 구조(scene geometry)와 동적 행동(dynamic behavior)까지도 노이즈가 섞인 미래 프레임에서 명확하게 보인다. 우리는 시뮬레이터에서 교란된 행동을 실행하고 이를 해당 행동에 따른 노이즈가 섞인 시각적 결과와 짝지어 WAM을 공동 학습시키는 CtrlWAM을 제시한다. 비디오와 행동이 서로 다른 디노이징(denoising) 요구사항을 갖는다는 점을 수용하기 위해, 우리는 행동 예측이 진행됨에 따라 시각적 레이아웃이 이에 반응하도록 유지하는 것을 목표로 하는 왜곡된(warped) 비디오-행동 노이즈 스케줄을 도입한다. 또한 우리는 행동 인터페이스를 자기 차량(ego) 전용 제어에서 가변 개수의 에이전트(agent) 스트림으로 확장하여, 단일 통합 모델이 여러 에이전트에 대한 예측되거나 명령된 미래를 표현할 수 있도록 한다. 주행(driving) 실험에서는 더 정확한 행동 예측, 생성된 비디오와 행동 간의 더 긴밀한 일치, 그리고 주어진 명령을 더 잘 따르는 결과를 보였으며, 로보틱스(robotics) 실험에서는 더 강한 동작 충실도(motion fidelity)와 제어 가능성(controllability)을 보였다. 매칭된 대조 실험(matched controls)은 명령 추종(command following)과 조작 충실도(manipulation fidelity) 측면에서 경로 이탈(off-path) 렌더링의 이점을 지지한다. 이러한 결과들은 종합적으로 더 제어 가능한 월드 액션 모델에 기여한다. 프로젝트 페이지: https://ctrl-wam.github.io/
FutureWorlds: 대안적 미래로부터 로봇 월드 모델 학습하기
FutureWorlds: Learning Robotic World Models from Alternative Futures
로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.