XMimic과 XSoma: 1분 이내에 휴머노이드 동작 추종과 보행을 학습하기
XMimic and XSoma: Learning Humanoid Motion Tracking and Locomotion in Under a Minute
한국어 초록
본 논문은 1분 이내의 학습으로 휴머노이드의 동작 추종과 험지 보행을 학습하는 XMimic과 XSoma를 제안한다. 두 방법은 모두 SuperMimic을 따른다. SuperMimic은 로봇의 월드 모델을 학습하고, 이 모델 안에서 상상한 짧은 롤아웃에 대해 해석적 그래디언트로 정책을 최적화한다. 이 방법의 기존 구현은 더 큰 GPU를 활용하지 못하는데, 이는 매 학습 반복이 순차적으로 실행되는 작은 GPU 연산의 긴 사슬이기 때문이다. 따라서 XMimic과 XSoma는 이 사슬을 단축하고, 최대 4개의 GPU에서 매 반복의 단계를 동시에 실행한다. 우리는 MuJoCo Warp 시뮬레이터를 포함한 전체 학습 루프를 JAX로 컴파일한다. 보행의 경우 XSoma는 월드 모델에 로봇의 동역학만 맡기고, 발 아래 지형 높이를 포함한 나머지 모든 것은 정확하게 계산한다. 이 방법은 1초의 호라이즌으로 크리틱 없이 학습한다. H100 GPU 4개에서 XMimic은 Unitree G1으로 LAFAN1의 40개 클립 전체를 추종하는 법을 0.86분 만에 학습하며, 이는 GPU 1개에서의 BlinkMimic보다 3.7배 빠르다. XSoma는 Holosoma의 테스트가 FastSAC에 설정한 추종 목표를 0.77분 만에 달성하며, 이는 GPU 1개에서의 FastSAC보다 12.3배 빠르고 환경 스텝 수는 8분의 1만 필요로 한다.
원문 초록
We present XMimic and XSoma, which learn humanoid motion tracking and locomotion on rough terrain in under a minute of training. Both follow SuperMimic, which learns a world model of the robot and optimizes the policy with analytic gradients through short rollouts imagined in this model. Existing implementations of this method do not make use of larger GPUs, as every training iteration is a long chain of small GPU operations that run one after another. XMimic and XSoma therefore shorten this chain and run the steps of every iteration at the same time on up to four GPUs. We compile the complete training loop with JAX, including the MuJoCo Warp simulator. For locomotion, XSoma leaves only the dynamics of the robot to the world model and computes everything else exactly, including the terrain height under the feet. It learns with a horizon of one second and without a critic. On four H100 GPUs, XMimic learns to track all 40 LAFAN1 clips with the Unitree G1 in 0.86 minutes, 3.7 times faster than BlinkMimic on one GPU. XSoma reaches the tracking target that Holosoma's tests set for FastSAC in 0.77 minutes, 12.3 times faster than FastSAC on one GPU, while needing only an eighth of its environment steps.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.