재구성하고, 연습하고, 현실로: 체화된 에이전트를 위한 유도 자기 개선
Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents
한국어 초록
다양한 작업 전반에 걸쳐 신뢰할 수 있는 로봇 역량을 구축하려면 스킬 개발 및 유지 관리, 보상 설계, 인지와 제어의 통합 등에 상당한 인간의 노력이 필요합니다. 본 논문에서는 모델(model) 가중치를 업데이트하지 않고 로봇 실행 시스템을 자율적으로 개선하는 프레임워크인 RPG(Reconstruct, Practice, Go Real)를 제시합니다. RPG는 오프라인 데이터셋(dataset)에서 조작(manipulation) 역량을 식별하고 시뮬레이션 환경에서 관련된 연습 작업을 구성합니다. 연습 과정에서 RPG는 실행 피드백, 시뮬레이터의 특권 상태(privileged simulator state), 활용 가능한 데이터셋 비디오를 사용하여 실패 원인을 진단합니다. 이러한 진단을 바탕으로 재사용 가능한 새로운 기호적(symbolic) 스킬을 개발하고, 기존 스킬을 개선하며, 시스템 프롬프트(prompt)를 수정합니다. 작업 간(cross-task) 평가를 통해 개별 후보 변경 사항과 병합된 수정 사항이 재사용을 위해 보존되기 전에 이를 테스트합니다. 테스트 시점에는 멀티모달 대규모 언어 모델(multimodal LLM)이 도출된 시스템 프롬프트와 스킬 라이브러리를 활용하여 인지와 로봇 제어를 조율합니다. 22개 조작 작업의 미공개 초기 조건(held-out initializations)에서, RPG는 첫 번째 연습 라운드 후 28.6%였던 작업 성공률을 15 라운드 후 95.0%로 향상시켜, ASPIRE(75.5%) 및 GPT-6 Astra Pro 기반의 CaP-Agent0(60.0%)을 포함한 평가 대상 기준선(baseline)을 모두 능가했습니다. 일반적인 캘리브레이션 및 하드웨어 적응 절차를 거친 후, 고정된 시스템은 세 가지 작업에서 각 10회씩 진행된 총 30회의 실제 물리적 시험에서 모두 성공했습니다. 프로젝트 웹사이트: https://rpg-robot.github.io/
원문 초록
Building reliable robot capabilities across diverse tasks requires substantial human effort to develop and maintain skills, design rewards, and integrate perception with control. We present Reconstruct, Practice, Go Real (RPG), a framework for autonomous improvement of robot execution systems without updating model weights. RPG identifies manipulation capabilities in an offline dataset and constructs related practice tasks in simulation. During practice, RPG uses execution feedback, privileged simulator state, and available dataset videos to diagnose failures. It develops new reusable symbolic skills, refines existing skills, and revises the system prompt based on these diagnoses. Cross-task evaluation tests individual candidate changes and merged revisions before they are retained for reuse. At test time, a multimodal LLM uses the resulting system prompt and skill library to coordinate perception and robot control. On held-out initializations of 22 manipulation tasks, RPG improves task success from 28.6% after the first practice round to 95.0% after 15 rounds, outperforming all evaluated baselines, including ASPIRE (75.5%) and CaP-Agent0 powered by GPT-6 Astra Pro (60.0%). After a common calibration and hardware-adaptation procedure, the frozen system succeeds in all 30 physical trials, with ten trials on each of three tasks. Project Website: https://rpg-robot.github.io/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고립된 스킬에서 일상적 물리적 자율성으로: 옴니모달 체화 에이전트의 발전
Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy
비구조화 환경에서 지속적으로 동작하는 체화 에이전트를 구축하려면, 사이버(API, IoT)와 물리(조작, 내비게이션) 영역에 걸친 이질적 도구의 통합적 조율과, 장기 운용 중 불가피하게 발생하는 물리적 실패로부터의 자율적 복구가 필요하다. 기존 시스템은 이를 별개의 문제로 취급한다. VLM 기반 플래너는 통합된 사이버-물리 행동 공간을 갖추지 못하고, 에이전트 프레임워크는 무제한적으로 컨텍스트를 누적하여 시간적 일관성을 저하시키며, VLA 정책은 자신의 실패를 감지하지 못한 채 개방 루프(open-loop)로 실행된다. 우리는 지속적 자율성이 단일(monolithic) 모델이 아니라 계획, 메모리, 검증을 명시적으로 분리한 계층적 비동기 아키텍처를 필요로 한다고 주장한다. 이를 위해 우리는 통합 행동 공간 전반의 스킬 라우팅을 위한 멀티모달 의미론적 플래너, 이벤트 경계 기반 압축으로 아래 선형(sub-linear) 컨텍스트 증가를 달성하는 적응형 계층적 메모리, 물리적 실행 중 의미론적 루프를 닫는 비동기 시각적 선점(preemption) 엔진을 통합한 프레임워크 OmniAct를 제시한다. 두 로봇 플랫폼에서 네 대의 IoT 기기를 조율하는 40개의 실세계 장기(long-horizon) 태스크에서 OmniAct는 모든 복잡도 수준에서 end-to-end 성공률을 일관되게 향상시키고, 10만 개 이상의 누적 상호작용 토큰에 걸쳐도 거의 평탄한 토큰 소비를 유지하며, 중간 규모 오픈 가중치 모델을 독점(proprietary) 수준 성능으로 끌어올린다.
Guava: 구현화된 조작을 위한 효과적이고 보편적인 하네스
Guava: An Effective and Universal Harness for Embodied Manipulation
대규모 비전-언어 데이터로 학습된 언어 모델은 구현화된 에이전트(embodied agent)에 대한 강력한 잠재력을 보여주었습니다. 구현화된 도구 사용을 통해 모델을 활용하는 것은 인지, 계획, 제어를 위한 외부 모듈과 고수준 추론을 결합하여 엔드-투-엔드 비전-언어-행동 시스템에 대한 유망한 대안을 제공합니다. 그러나 구현화된 조작을 위한 효과적인 하네스(harness)를 구성하는 요소가 무엇인지, 그리고 그러한 하네스가 다양한 추론 모델에서 구현화된 능력을 어느 정도로 끌어낼 수 있는지는 여전히 불분명합니다. 이 연구에서는 에이전트 워크플로우, 행동 공간, 관찰 공간의 설계 공간을 체계적으로 탐험하여 개발된 구현화된 도구 사용을 위한 하네스 프레임워크인 Guava를 소개합니다. 우리의 연구는 효과적인 구현화된 에이전트를 위한 세 가지 핵심 요소, 즉 반복적인 인지-추론-행동 루프, 의미적 행동 추상화, 멀티모달 관찰을 식별했습니다. 이러한 설계 원칙이 소형 모델에도 보편적으로 적용되는지 이해하기 위해, 우리는 시뮬레이션에서 전적으로 수집된 2,000개 미만의 궤적을 사용하여 구현화된 조작 능력을 40억(4B) 오픈 소스 모델로 증류하는 엔드-투-엔드 학습 파이프라인을 개발했습니다. 시뮬레이션과 실제 환경 모두에서의 실험 결과, 최첨단 독점 모델과 비교할 만한 성능을 보이면서 보지 못한 객체, 새로운 지시, 장기 지평(long-horizon) 작업에 대해 강력한 일반화 성능을 나타냈습니다. 결과는 잘 설계된 하네스가 구현화된 조작을 위한 확장 가능하며 모델 독립적인 인터페이스로 기능할 수 있음을 시사하며, 최소한의 학습 데이터로 소형 오픈 소스 모델에서 강력한 창발적 구현화 능력을 가능하게 합니다.
DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge
최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.
3DFlowAction: Learning Cross-Embodiment Manipulation from 3D Flow World Model
RLVR-World: Training World Models with Reinforcement Learning
Mini Diffuser: Fast Multi-task Diffusion Policy Training Using Two-level Mini-batches
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
17 pages, 6 figures, 10 tables