휴머노이드 제어는 자연스러운 전신 협응, 제어 신호에 대한 정밀한 실시간 응답, 다양한 환경 맥락에 걸친 강건한 일반화를 요구하므로 범용 체화(embodied) 에이전트의 핵심 기반이 된다. 행동 기반 모델(BFM)은 최근 대규모 행동 데이터를 활용하여 뛰어난 표현력, 범용성 및 일반화를 달성함으로써 이러한 과제들을 해결하는 유망한 방법으로 부상했다. 그러나 BFM을 스케일링하여 역량을 더욱 향상시키려는 관심이 커지고 있음에도, 학습 패러다임, 행동 데이터, 모델 아키텍처를 포함한 핵심 요인들을 어떻게 조율해야 효과적인 스케일링을 가능하게 하는지는 여전히 불분명하다. 본 연구에서는 BFM의 스케일링 레시피를 재검토하고, 다음 세 가지 핵심 구성 요소의 조율을 통해 상당한 성능 향상을 달성할 수 있음을 보인다: 1) 다양한 휴머노이드 제어 문제를 전역 좌표계에서 통합된 전신 행동의 재현으로 재정식화하는 모션 추적(motion tracking)의 학습 패러다임; 2) 온-정책 롤아웃 수량과 참조 모션(reference motion) 다양성 간의 전략적 시너지; 3) 구조화된 행동 표현의 자연스러운 창발을 촉진하는 Humanoid 트랜스포머라고 명명된 표현력 있고 확장 가능한 모델 아키텍처. 시뮬레이션과 실제 배포 모두에서 광범위한 실험을 통해, 본 접근법이 제어 충실도와 과제 일반화에서 상당한 개선을 가져오며, 기존 휴머노이드 컨트롤러 대비 테스트 세트에서 local mode에서 Mean Per-Keypoint Position Error(MPKPE)를 10% 이상, global mode에서 82% 줄였음을 보인다. 이러한 결과는 BFM이 확장 가능하고 범용적인 휴머노이드 제어를 위한 원칙적이고 효과적인 기반임을 확립한다.
현재 휴머노이드 강화학습(RL) 정책은 자유 공간(free-space) 동작에는 뛰어나지만, 접촉이 많은(contact-rich) 과제에서는 어려움을 겪는다. 순수 운동학(kinematic) 추적만으로는 물체 및 고르지 않은 지형과의 상호작용에서 발생하는 물리적 모호성을 해결할 수 없기 때문이다. 이를 해결하기 위해, 자유 공간 보행, 지형 통과, 전신 조작을 처리할 수 있는 통합 동작 추적 프레임워크인 SceneBot을 제안한다. SceneBot은 단일 정책에 참조 동작과 링크별 접촉 레이블을 모두 조건으로 주어 기대되는 환경 상호작용을 명시적으로 정의한다. 주석이 달린 상호작용 데이터 부족을 극복하기 위해, 재타겟팅된 인간 동작으로부터 장면-상호작용 그래프를 추론하는 사후(hindsight) 장면 재구성 접근법을 제안한다. 이렇게 재구성된 접촉이 풍부한 데이터 7.5시간으로 학습한 SceneBot은 미경험 동작과 환경에 성공적으로 일반화한다. 결과는 SceneBot이 계단을 오르며 상자를 운반하는 것과 같은 복잡하고 장기적인(long-horizon) 과제를 수행하며 자유 공간 및 접촉이 풍부한 행동을 매끄럽게 통합하는 최초의 일반 프레임워크임을 보여주며, 접촉 조건화(contact conditioning)를 휴머노이드 제어를 위한 강력한 인터페이스로 확립한다. 모든 코드와 데이터는 오픈소스로 공개될 예정이다. 더 많은 데모와 정보는 https://ericcsr.github.io/scenebot/ 에서 확인할 수 있다.
Humanoid robots are expected to execute agile and expressive whole-body motions in real-world settings. Existing text-to-motion generation models are predominantly trained on captured human motion datasets, whose priors assume human biomechanics, actuation, mass distribution, and contact strategies. When such motions are directly retargeted to humanoid robots, the resulting trajectories may satisfy geometric constraints (e.g., joint limits and pose continuity) and appear kinematically reasonable. However, they frequently violate the physical feasibility required for real-world execution. To address these issues, we present PhyGile, a unified framework that closes the loop between robot-native motion generation and General Motion Tracking (GMT). PhyGile performs physics-prefix-guided robot-native motion generation at inference time, directly generating robot-native motions in a 262-dimensional skeletal space with physics-guided prefixes, thereby eliminating inference-time retargeting artifacts and reducing generation-execution discrepancies. Before physics-prefix adaptation, we train the GMT controller with a curriculum-based mixture-of-experts scheme, followed by post-training on unlabeled motion data to improve robustness over large-scale robot motions. During physics-prefix adaptation, the GMT controller is further fine-tuned with generated objectives under physics-derived prefixes, enabling agile and stable execution of complex motions on real robots. Extensive offline and real-robot experiments demonstrate that PhyGile expands the frontier of text-driven humanoid control, enabling stable tracking of agile, highly difficult whole-body motions that go well beyond walking and low-dynamic motions typically achieved by prior methods.