arXiv:2603.19305v2 cs.RO

PhyGile: Physics-Prefix Guided Motion Generation for Agile General Humanoid Motion Tracking

Jiacheng Bao, Haoran Yang, Yucheng Xin, Junhong Liu, Yuecheng Xu, Han Liang, Pengfei Han, Xiaoguang Ma, Dong Wang, Bin Zhao

제출 2026-03-13

원문 초록

Humanoid robots are expected to execute agile and expressive whole-body motions in real-world settings. Existing text-to-motion generation models are predominantly trained on captured human motion datasets, whose priors assume human biomechanics, actuation, mass distribution, and contact strategies. When such motions are directly retargeted to humanoid robots, the resulting trajectories may satisfy geometric constraints (e.g., joint limits and pose continuity) and appear kinematically reasonable. However, they frequently violate the physical feasibility required for real-world execution. To address these issues, we present PhyGile, a unified framework that closes the loop between robot-native motion generation and General Motion Tracking (GMT). PhyGile performs physics-prefix-guided robot-native motion generation at inference time, directly generating robot-native motions in a 262-dimensional skeletal space with physics-guided prefixes, thereby eliminating inference-time retargeting artifacts and reducing generation-execution discrepancies. Before physics-prefix adaptation, we train the GMT controller with a curriculum-based mixture-of-experts scheme, followed by post-training on unlabeled motion data to improve robustness over large-scale robot motions. During physics-prefix adaptation, the GMT controller is further fine-tuned with generated objectives under physics-derived prefixes, enabling agile and stable execution of complex motions on real robots. Extensive offline and real-robot experiments demonstrate that PhyGile expands the frontier of text-driven humanoid control, enabling stable tracking of agile, highly difficult whole-body motions that go well beyond walking and low-dynamic motions typically achieved by prior methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.19305v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.06079v3cs.AI공통 태그 Mixture-of-Experts, Imitation Learning, Continuous Control

LayerRoute: 비전-언어-행동 정책을 위한 행동 조건부 층 혼합 라우팅

LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies

비전-언어-행동(VLA) 정책은 사전학습된 비전-언어 모델(VLM)을 활용하여 로봇 제어를 위한 행동 생성을 유도합니다. VLM은 국소적인 시각 기하 구조부터 추상적이고 언어와 정렬된 의미에 이르기까지 층(layer) 전반에 걸쳐 발전하는 계층적 시각-의미 표현을 제공하므로, 서로 다른 조작 작업에는 각기 다른 층 표현의 혼합이 필요할 수 있습니다. 한편, 행동 모듈은 행동 계산 전반에 걸쳐 발전하며 후속 결정에 유용한 정보를 제공할 수 있는 중간 표현을 유지합니다. 그러나 기존 VLA 인터페이스는 표현 접근에 있어 유연성이 제한적입니다. 즉, VLM 정보는 각 행동 층에 대해 고정된 층 할당을 통해서만 노출되며, 중간 행동 상태는 명시적인 재사용 없이 잔차 스트림(residual stream)을 통해 암묵적으로만 전파됩니다. 본 논문에서는 VLM 층 및 행동 표현에 대한 적응형 접근을 가능하게 하는 행동 조건부 표현 라우팅 인터페이스인 LayerRoute를 소개합니다. Layer Mixture Router는 캐시된 VLM 표현의 혼합을 동적으로 구성하며, Action-State Reread는 이전 행동 표현을 재사용합니다. 다양한 시뮬레이션 및 실제 환경 벤치마크 전반에서 LayerRoute는 StarVLA-$π$ 및 $π_{0.5}$의 성능을 일관되게 향상시키며, 단 0.31% / 3.87%의 추가 파라미터만으로 LIBERO Long에서 최대 7.2의 성능 향상을 달성합니다. 절제 연구(ablation study)를 통해 행동 조건부 층 라우팅의 이점을 검증하였으며, 라우팅 분석을 통해 행동 층 및 작업 설정 전반에 걸친 구조화된 할당 패턴을 확인했습니다.

arXiv:2609.32193v2cs.CV공통 태그 Mixture-of-Experts, Imitation Learning, Continuous Control

Devol-ONE: 비전-언어-행동과 잠재 월드 모델링을 통합하는 단일 자기회귀 트랜스포머 혼합 모델

Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling

비전-언어-행동(Vision Language Action, VLA) 모델은 후보 행동에 따라 장면이 어떻게 진화하는지에 대한 명시적인 고려 없이, 현재의 시각 및 언어 컨텍스트에 직접 행동을 조건화합니다. 월드 행동 모델(World Action Models, WAM)은 미래 상태를 예측함으로써 이러한 한계를 해결하고자 하지만, 기존 설계는 픽셀 공간 비디오 생성을 통하든 정책과 독립적으로 학습된 잠재 예측 모듈을 통하든 예측 출력만을 통해 연결할 뿐, 예측과 정책 학습을 아키텍처적으로 분리된 상태로 유지합니다. 본 논문에서는 단일 자기회귀 프레임워크 내에서 비전-언어 이해, 잠재 월드 다이내믹스 예측, 행동 생성을 통합하는 트랜스포머 혼합(Mixture of Transformers) 아키텍처인 Devol-ONE을 제시합니다. Devol-ONE은 비전-언어 토큰을 한 번 인코딩하여 행동 전문가에게 전달하는 대신, 비전-언어 스트림과 V-JEPA 사전학습 다이내믹스 스트림 전반에서 공동으로 자기회귀 예측을 수행하며, 모든 층(layer)에서 비전-언어 키-값(KV) 캐시에 어텐션(attention)하여 언어 가이드에 따라 미래의 잠재 상태를 예측합니다. 결과적으로 행동 전문가는 사전에 계산된 고정된 표현이 아니라, 시맨틱 추론과 예측된 물리적 다이내믹스에 의해 지속적으로 형성됩니다. LIBERO, LIBERO-PLUS, RoboTwin2.0에 대한 광범위한 실험과 함께 Flexiv 단일 암 및 듀얼 암 환경에서의 실제 환경 평가가 수행되었습니다. 절제 연구(ablation study)는 다이내믹 스트림 예측과 층별 통합 어텐션의 효과를 보여주어 우리 모델(model) 아키텍처의 일관성을 검증합니다.

arXiv:2609.28378v1cs.RO공통 태그 Imitation Learning, Continuous Control, Humanoid Control

ForgetMimic: 강화학습 휴머노이드 제어를 위한 모션 언러닝

ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control

인간 시연을 활용한 휴머노이드 제어는 강화학습(RL)을 통해 다양하고 민첩하며 자연스러운 이동(locomotion) 행동을 달성해 왔다. 이 패러다임이 물리 세계 휴머노이드 제어에서 뛰어난 성능을 보여 주었지만, 학습된 정책에서 특정 동작을 제거하는 방법은 여전히 충분히 탐구되지 않았다. 이 문제를 다루는 동기는 긴급한 안전성 및 프라이버시 우려에서 비롯된다. 악의적이거나 오염된, 또는 차선의 동작뿐 아니라 GDPR과 같은 규정에 따른 잊혀질 권리(right to be forgotten)의 대상이 되는 저작권 보호 동작을 제거하는 것은 매우 중요하다. 이를 위해 우리는 물리 세계 휴머노이드 제어를 위해 특별히 설계된 최초의 모션 수준 언러닝 방법인 ForgetMimic을 제안한다. ForgetMimic의 핵심 아이디어는 다음과 같다. $N$개의 동작으로 학습된 정책 $\pi_\theta$가 주어졌을 때, 우리 방법은 목표 부분집합인 $K$개 동작에 대한 성능을 저하시키면서 나머지 $N-K$개 동작의 효과는 유지한다. 또한 우리는 로봇 제어에서 언러닝 실패로 이어지는 두 가지 핵심 학습 메커니즘을 식별하고 해결한다. Unitree G1 및 H2 휴머노이드 로봇에서 Dance, Fight, Flip 등 12가지 동작에 걸쳐 광범위한 실험을 수행했다. 실험 결과는 ForgetMimic이 지정된 동작에 대한 기억을 효과적으로 제거하면서 다른 모든 동작의 정상 동작을 유지함을 보여 준다.

arXiv:2609.27656v1cs.RO공통 태그 Mixture-of-Experts, Imitation Learning, Continuous Control

InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.

arXiv:2609.22611v1cs.RO공통 태그 Imitation Learning, Continuous Control, Motion Generation

HIGenNTO: 노이즈 공간 궤적 최적화를 통한 확장 가능한 휴머노이드 상호작용 생성

HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization

휴머노이드 로봇은 운동학적 휴머노이드 동작 참조를 모방하여 복잡한 기술을 습득할 수 있지만, 접촉이 많은 상호작용에 대한 신뢰할 수 있는 참조를 얻기는 여전히 어렵다. 모션 캡처는 가림(occlusion)과 밀접한 물리적 접촉 하에서 품질이 저하되며, 리타게팅(retargeting)은 추가적인 접촉 및 기하학적 불일치를 초래한다. 우리는 희소 시공간 및 장면 제약 하에서 사전학습된 텍스트 조건 동작 모델의 초기 노이즈를 최적화하여 휴머노이드-장면 상호작용 동작 참조를 합성하는 프레임워크 HIGenNTO를 제안한다. 동일한 공식화는 원하는 접촉을 만족하고, 충돌을 피하며, 안정적인 지지를 유지하면서 사전(prior)의 현실성과 시간적 일관성을 보존하고, 처음부터 상호작용 동작을 생성하며 장기 행동을 단계별로 구성한다. 로봇-환경 및 로봇-객체 과제 전반에서 HIGenNTO는 시뮬레이션에서 추적 정책(tracking policy)으로 실행 가능한 동작을 생성하며, 온보드 센싱만으로 동작하는 깊이 조건 시각-운동(visuomotor) 정책 학습에 사용할 수 있다. 우리는 네 가지 접촉이 많은 과제에서 Unitree G1에 이러한 정책을 배포한다. 마지막으로, 과제 명세 자체를 코딩 에이전트가 작성할 수 있으며, 이 에이전트는 상호작용 과제를 제안하고 이를 프롬프트, 제약, 및 장면 프로그램으로 컴파일하여 평가한 8개 과제 중 3개와 추가 4개 행동을 작성했다. 종합하면, 이러한 결과는 고수준 과제 기술에서 물리적으로 실행 가능한 휴머노이드 상호작용까지의 확장 가능한 경로를 제시한다.

arXiv:2609.22691v1cs.AI공통 태그 Imitation Learning, Continuous Control, Motion Generation

인간 유사 에이전트를 위한 생성형 체화 다중 행동 통제 시스템

Generative Embodied Multiple Behavior Control Systems for Human-like Agents

인지 신경과학에서 오랫동안 정교하게 논의되어 온 이분법은 습관적(habitual) 행동과 목표 지향적(goal-directed) 행동으로 나뉘는 인간 행동 통제 메커니즘이다. 기존 인간 유사 에이전트 프레임워크는 주로 목표 지향적 행동 모델링에 초점을 맞추었으며, 인간 일상에서 핵심적인 역할을 하는 습관적 행동은 대체로 간과되어 왔다. 본 논문에서는 목표 지향적 행동과 습관적 행동을 공동으로 모델링하는 다중 행동 통제 시스템을 연구하여 이 공백을 해소한다. 우리는 인간 행동 통제 메커니즘에서 영감을 받은 프레임워크를 제안한다. Habitual Controller는 개인화된 습관 메모리에서 단서에 의해 촉발된 행동을 검색하고, Goal-directed Controller는 문맥 인식(context-aware) 월드 모델(world model)을 사용하여 행동 결과를 예측하고 그 가치를 추정한다. Arbiter는 개인차와 순간적인 내부 상태에 따라 두 시스템의 영향을 동적으로 균형 잡는다. 3D 환경에서 다양한 인간 수준 행동 지시를 재구성하기 위해 keyframe-guided 3D 모션 생성 모듈을 추가로 개발한다. 광범위한 평가 방법, 인간 연구, ablation 연구를 통해 실험 결과는 우리 접근법이 인간 유사성(human-likeness) 성능을 유의미하게 향상시킴을 보여준다. 우리 접근법의 효과는 믿을 만한(believable) 체화형 인간 유사 에이전트를 위해 습관적 행동과 다중 행동 통제 시스템의 조율을 활용하는 것의 이점을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.