arXiv:2610.18352v2 cs.RO

마음은 구상하고 손은 이룬다: 장기 조작을 위한 접지된 행동과 진행도 평가의 결합

Let the Mind Conceive, Let the Hand Achieve: Coupling Grounded Action and Progress Evaluation for Long-Horizon Manipulation

Youpeng Wen, Gang Wang, Tianyu Huang, Weiwei Zhang, Zhijian Huang, Wei Chen, Xieyuanli Chen, Yunhui Liu

제출 2026-11-18

한국어 초록

여러 단계의 지시를 따르는 로봇은 장면이 변하더라도 올바른 물체에 올바른 순서로 행동해야 한다. 또한 과제 진행 상황을 계속 파악하고 언제 다음 단계로 넘어갈지 판단해야 한다. 이러한 과제를 해결하기 위해 우리는 과제 계획 및 실행 관리를 행동 생성과 분리하는 에이전트 하니스 Orchestra를 제안한다. Orchestra는 완전한 멀티모달 지시를 순서가 있는 하위 과제로 분해하고, 완료된 단계를 추적하며, 실행 중 관련 물체와 목적지의 위치를 갱신한다. 또한 현재 하위 과제, 공간적 접지, 최근 관측을 담은 공유 컨텍스트를 유지한다. 행동 정책은 이 컨텍스트를 사용해 행동을 생성하고, 별도로 학습된 진행도 평가기는 언제 다음 하위 과제로 넘어갈지를 추정한다. 원자적 지시와 짧은 궤적으로 학습된 로봇이 더 긴 하위 과제 시퀀스를 실행할 수 있는지 평가하기 위해, 우리는 RMBench-Compose라는 벤치마크를 도입한다. Orchestra는 RMBench의 9개 과제에서 평균 성공률 $68.22\%$를 달성하여 Mem-0을 $26.22$%p 앞선다. RMBench-Compose에서는 평균 성공 길이(ASL) $7.35$개 하위 과제를 달성하여 HarnessVLA의 $2.46$배이다. 실제 환경의 네 가지 다단계 과제에서는 기본 $\pi_{0.5}$ 정책을 사용한 Orchestra 대비 평균 ASL을 $25.0\%$ 향상시킨다. 이러한 결과는 Orchestra가 요청된 하위 과제 순서와 지정된 물체에 대한 행동을 유지하면서 로봇이 더 긴 하위 과제 시퀀스를 수행하도록 돕는다는 것을 보여 준다. 코드와 프로젝트 페이지는 https://youpengwen.github.io/Orchestra 에서 확인할 수 있다.

원문 초록

A robot following a multi-step instruction needs to act on the right objects in the right order, even as the scene changes. It must also maintain awareness of task progress and determine when to advance. To address these challenges, we introduce Orchestra, an agent harness that separates task planning and execution management from action generation. Orchestra decomposes a complete multimodal instruction into ordered subtasks, tracks completed steps, and updates the locations of relevant objects and destinations during execution. It maintains a shared context containing the active subtask, spatial grounding, and recent observations. An action policy uses this context to generate actions, while a separately trained progress evaluator estimates when to advance to the next subtask. To evaluate whether robots trained on atomic instructions and short trajectories can execute longer subtask sequences, we introduce a benchmark named RMBench-Compose. Orchestra achieves a mean success rate of $68.22\%$ across nine RMBench tasks, outperforming Mem-0 by $26.22$ percentage points. On RMBench-Compose, it achieves an Average Success Length (ASL) of $7.35$ subtasks, $2.46$ times that of HarnessVLA. Across four real-world multi-step tasks, it improves mean ASL by $25.0\%$ over Orchestra using the base $\pi_{0.5}$ policy. These results show that Orchestra helps robots carry out longer sequences of subtasks while preserving the requested subtask order and acting on the specified objects. Our code and project page are available at https://youpengwen.github.io/Orchestra

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.18352v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.