RoboBuilder: 실세계 비디오 피드백을 루프에 포함한 에이전트 기반 로봇 공동 설계
RoboBuilder: Agentic Robot Co-Design with Real-world Video Feedback in the Loop
한국어 초록
AI 에이전트가 실세계에서 작동하는 로봇을 설계할 수 있을까? 본 연구에서는 코딩 에이전트가 표준 부품, 모터, 맞춤형 3D 프린트 부품으로 로봇의 하드웨어와 프로그램을 공동 설계하고, 시뮬레이션을 통과한 모든 설계를 제작하여 물리적 코스에서 시험하는 벤치마크인 RoboBuilder를 소개한다. 시뮬레이션만으로는 충분하지 않다. 공개된 부품 데이터 하에서 최초로 통과한 15개 설계 중 어느 것도 실제 코스를 통과하지 못했으며, 따라서 에이전트는 자신이 요청한 측정값과 실제 주행 영상으로부터 시뮬레이터를 학습한다. 네 개의 최첨단 코딩 에이전트, 세 가지 난이도의 열 개 장애물, 12,774개의 서로 다른 로봇에 대한 16,427회의 시뮬레이션, 추정 240시간에 걸쳐 제작된 135대의 물리 로봇에 걸쳐, 에이전트는 쉬운 장애물을 거의 모두 해결하고 우리의 탐색 기준선이 도달하지 못하는 메커니즘을 고안하지만, 더 어려운 수준, 하나의 로봇이 모든 장애물을 넘어야 하는 경우, 그리고 시뮬레이션 통과의 66%만이 모든 수준에서 유지되는 실세계에서는 어려움을 겪는다. 루프를 닫는 것이 도움이 된다. 실제 실패 영상을 보여 주면 에이전트는 로봇을 재설계하고 때로는 자신의 시뮬레이터를 수정하여 레벨 1과 레벨 2 실패의 72%를 제거한다. RoboBuilder는 실제 기계를 엔지니어링하는 에이전트를 향한 진전을 측정한다. 프로젝트 페이지: https://ghadinehme.com/robobuilder.github.io/
원문 초록
Can AI agents design robots that work in the real world? We introduce RoboBuilder, a benchmark in which coding agents co-design a robot's hardware and program from standard parts, motors and a custom 3D-printed part, and every design that passes in simulation is built and tested on a physical course. Simulation alone is not enough: under public part data, none of 15 initial passing designs crossed the real course, so an agent learns the simulator from measurements it requests and videos of real runs. Across four frontier coding agents, ten obstacles at three difficulty levels, 16,427 simulations of 12,774 distinct robots and 135 physical robots built in an estimated 240 hours, agents solve nearly all easy obstacles and invent mechanisms our search baselines do not reach, but falter at harder levels, when one robot must cross every obstacle, and in the real world, where 66% of simulated passes hold across all levels. Closing the loop helps: shown a video of its real failure, an agent redesigns the robot, sometimes correcting its simulator, and removes 72% of level-1 and level-2 failures. RoboBuilder measures progress toward agents that engineer real machines. Project Page: https://ghadinehme.com/robobuilder.github.io/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23855v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.