RoboTeam: 여러 로봇 팔을 실시간으로 제어하는 비전 기반 다중 에이전트 벤치마크
RoboTeam: Benchmarking Vision-Based Multi-Agent Control of Many Robot Arms in Real Time
한국어 초록
다중 모달 에이전트는 도구를 호출하고 코드를 작성해 로봇 팔을 제어할 수 있다. 그러나 기존 벤치마크는 대부분 짧은 과제에서 팔 한두 개만 시험하고, 에이전트가 판단하는 동안 환경을 멈추거나 물체 위치의 실측값을 제공하는 경우가 많다. RoboTeam은 카메라 영상만으로 로봇 팔 4~16개를 실시간 제어하는 시뮬레이션 벤치마크다. 과제 36개는 목재를 서로 건네거나 수백 개의 큐브로 그림을 만드는 등 여러 팔이 협력하는 장시간 작업이다. 먼저 에이전트 하나가 하위 에이전트에게 언제 작업을 위임할지 정하는 가장 유연한 적응형 시스템을 시험한다. 이 방식으로 gpt-6.1-sol과 opus-5.5는 각각 과제 28개와 27개를 완료했고, 다른 모델 네 개는 최대 3개를 완료했다. 다만 비용이 컸다. gpt-6.1-sol에서 일반적인 과제 하나를 처리하는 데 3.5시간과 입력 토큰 2억 1,800만 개가 필요했고, 단계의 3분의 1은 한 번 이상 실패하여 재시도해야 했다. 이어서 적응형 시스템을 단일 에이전트·계층형·분산형이라는 세 가지 고정 구조와 비교한다. 네 방식은 비슷한 수의 과제를 완료했지만 시간과 토큰 사용량은 달랐다. 계층형과 분산형은 더 빠르지만 토큰을 최대 1.9배 사용했고, 단일 에이전트는 토큰을 덜 사용하지만 1.6배 오래 걸렸다. 적응형은 그 사이에 위치한다. 아직 어느 모델이나 시스템도 속도, 비용, 신뢰성을 동시에 만족하지 못한다. RoboTeam은 여러 팔이 수행하는 장시간 과제, 카메라 영상만 제공되는 관측, 멈추지 않는 환경을 결합해 기존 벤치마크가 놓친 한계를 측정한다.
원문 초록
Multimodal agents can now control robot arms by calling tools and writing code. Existing benchmarks fall short in three ways: most test one or two arms on short tasks, many pause the world while the agent thinks, and many give it ground-truth object positions. We present RoboTeam, a simulated benchmark where agents control 4 to 16 robot arms in real time from camera images alone. Its 36 tasks are long jobs that the arms must do together, such as passing timbers or building a picture from hundreds of cubes. We start from the most flexible agent system, the adaptive system, where one agent decides when to fork delegates. With it, gpt-6.1-sol and opus-5.5 complete 28 and 27 tasks, and four other models at most 3. But at a high price: a typical task takes gpt-6.1-sol 3.5 hours and 218 million input tokens, and a third of its steps fail at least once and must be retried. We then compare it with three fixed systems: single-agent, hierarchical, and decentralized. All four complete a similar number of tasks but differ in time and tokens. The hierarchical and decentralized systems are faster but use up to 1.9 times the tokens, and the single agent uses fewer tokens but takes 1.6 times as long, so the adaptive system lies between them. Even so, no model or system is yet fast, cheap, and reliable at once. RoboTeam measures these limits where earlier benchmarks cannot: long multi-arm jobs, camera images only, and a world that never pauses.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22138v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.