arXiv:2611.18562v1 cs.RO

시뮬레이션에서 추론 모델을 학습시켜 실제 로봇을 네이티브하게 사용하기

Training Reasoning Models in Simulation to Natively Use Real Robots

Jiaming Tang, Zhuoyang Zhang, Junxian Guo, Fangzhou Zhao, Yilong Zhao, Zekai Li, Xingyang Li, Yuyang Zhao, Song Bian, Zhijian Liu, Song Han

제출 2026-11-16

한국어 초록

로봇 사용 에이전트(RUA)는 범용 로봇 제어를 위한 유망한 접근법으로 부상하였다. 그러나 지금까지 강력한 성능은 GPT-6 Astra와 Claude Fable 5.2와 같은 최첨단 비공개 모델에서만 달성되었으며, 오픈 웨이트 모델은 여전히 능력이 크게 떨어진다. 본 논문은 270억 파라미터 규모의 오픈 웨이트 추론 모델이 시연 없이 전적으로 시뮬레이션 내에서 강화학습을 통해 실제 로봇을 네이티브하게 사용하도록 학습될 수 있음을 보인다. 컴퓨터 사용 에이전트(CUA)와 마찬가지로, 이 모델은 환경을 관찰하고 사고 연쇄로 추론하며 어떠한 하네스도 없이 다음 엔드 이펙터 자세를 생성한다. 본 논문은 에이전트형 로보틱스를 위한 사후 학습 엔진(PEAR)을 구축하고, 이를 이용하여 최첨단 모델이 컴퓨터 사용 능력을 습득하는 방식을 모방한 로봇 사용 강화학습(RURL)으로 시뮬레이션 로봇 과제에서 대규모로 모델을 학습시킨다. 그 결과 시뮬레이션에서 습득한 기술이 학습 과제를 넘어 잘 일반화됨을 확인하였다. 이 기술은 보지 못한 로봇, 실제 세계, 새로운 지시문으로 전이된다. 시뮬레이션에서 LIBERO와 RoboDojo로 학습한 후, 이 모델은 실제 양팔 로봇에서 시도의 60%에서 성공하였으나 기반 모델은 한 번도 성공하지 못하였다. LIBERO에서는 학습을 통해 성공률이 1.6%에서 74.4%로 상승하였으며, 이는 최대 추론 강도의 GPT-6 Astra 및 GPT-6.1 Sol에 근접한 수준이다. 시연 데이터로 미세조정된 비전-언어-행동 모델인 $\pi_{0.5}$와 비교하면, 본 모델은 과제 자체의 변화에 훨씬 더 강건하다. LIBERO-Pro에서 $\pi_{0.5}$는 익숙한 장면에서 새로운 과제가 주어졌을 때 에피소드의 0.75%에서만 성공한 반면, 본 모델은 57.4%에서 성공하였다. 마지막으로, 이 모델은 일반 능력을 유지하여 추론, 코딩, 비전 벤치마크 9종에서 측정 가능한 성능 저하가 없었다. 이러한 결과는 로봇 사용 강화학습이 파운데이션 모델 사후 학습의 유망한 구성 요소임을 보여준다.

원문 초록

Robot-use agents (RUAs) have emerged as a promising approach to general-purpose robot control. However, strong performance has so far been achieved only by frontier proprietary models such as GPT-6 Astra and Claude Fable 5.2, whereas open-weight models remain substantially less capable. We show that an open-weight 27B reasoning model can be trained to use real robots natively through reinforcement learning, entirely in simulation and without demonstrations. Like a computer-use agent (CUA), the model observes the environment, reasons in a chain of thought, and generates the next end-effector pose, without any harness. We build a Post-training Engine for Agentic Robotics (PEAR) and use it to train the model on simulated robot tasks at scale with robot-use reinforcement learning (RURL), mirroring how frontier models acquire computer use. We find that the skills acquired in simulation generalize well beyond the training tasks: they transfer to an unseen robot, to the real world, and to novel instructions. After training on LIBERO and RoboDojo in simulation, the model succeeds in 60% of our trials on a real dual-arm robot, whereas the base model succeeds in none. On LIBERO, training raises the success rate from 1.6% to 74.4%, approaching GPT-6 Astra and GPT-6.1 Sol at maximum reasoning effort. Compared with $\pi_{0.5}$, a vision-language-action model fine-tuned on demonstrations, our model is substantially more robust to changes in the task itself. On LIBERO-Pro, $\pi_{0.5}$ succeeds in only 0.75% of episodes when assigned a new task in a familiar scene whereas our model succeeds in 57.4%. Finally, the model retains its general capabilities, with no measurable degradation on nine reasoning, coding and vision benchmarks. These results highlight robot-use reinforcement learning as a promising component of foundation-model post-training.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18562v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.