arXiv:2606.19980v2 cs.AI

ENPIRE: 실세계에서의 에이전트 기반 로봇 정책 자기 개선

ENPIRE: Agentic Robot Policy Self-Improvement in the Real World

Wenli Xiao, Jia Xie, Tonghe Zhang, Haotian Lin, Letian "Max" Fu, Haoru Xue, Jalen Lu, Yi Yang, Cunxi Dai, Zi Wang, Jimmy Wu, Guanzhi Wang, S. Shankar Sastry, Ken Goldberg, Linxi "Jim" Fan 외 2명

제출 2026-06-18

한국어 초록

실세계에서 정교한 로봇 조작을 달성하는 것은 인간의 감독과 알고리즘 엔지니어링에 크게 의존하며, 이는 범용 물리 지능을 추구하는 데 핵심 병목이 된다. 등장하는 코딩 에이전트가 알고리즘 탐색을 자동화하는 코드를 생성할 수 있지만, 그 성공은 대부분 디지털 환경에 국한되어 있다. 우리는 로봇 공학 연구 자동화에 빠진 추상화가 실세계 정책 개선을 위한 반복 가능한 피드백 루프—장면을 재설정하고, 정책을 실행하며, 결과를 검증하고, 다음 반복을 개선하는 것—이라고 추측한다. 이 격차를 메우기 위해 코딩 에이전트를 위한 하네스 프레임워크인 ENPIRE를 제안한다. ENPIRE는 자동 재설정 및 검증을 위한 환경 모듈(EN), 정책 개선을 시작하는 정책 개선 모듈(PI), 하나 이상의 물리 로봇이 병렬로 작동하며 정책을 평가하는 롤아웃 모듈(R), 코딩 에이전트가 로그를 분석하고 문헌을 참조하며 학습 인프라와 알고리즘 코드를 개선해 실패 모드를 해결하는 진화 모듈(E)이라는 네 가지 핵심 모듈로 이 물리적 피드백 루틴을 구현한다. 이 폐루프 시스템은 실세계 조작 학습을 제어 가능한 최적화 절차로 바꾸며, 인간 개입을 최소화하는 동시에 학습 레시피와 에이전트 변형에 걸친 공정한 소거 연구를 가능하게 한다. ENPIRE를 기반으로 최첨단 코딩 에이전트는 핀 박스 정리, zip tie 조임, 도구 사용과 같은 도전적이고 정교한 조작 과제에서 99% 성공률을 달성하는 정책을 자율적으로 학습할 수 있으며, 로봇 플릿에 에이전트 팀을 배치하면 이 과정이 더 가속된다. 우리 결과는 코딩 에이전트를 배포해 물리 세계에서 로봇 공학을 자율적으로 발전시키는 실용적이고 확장 가능한 경로를 시사한다.

원문 초록

Achieving dexterous robotic manipulation in the real world heavily relies on human supervision and algorithm engineering, which becomes a central bottleneck in the pursuit of general physical intelligence. Although emerging coding agents can generate code to automate algorithm search, their successes remain largely confined in digital environments. We conjecture that the missing abstraction to automate robotics research is a repeatable feedback loop for real-world policy improvement: reset the scene, execute a policy, verify the outcome, and refine the next iteration. To bridge this gap, we introduce ENPIRE, a harness framework for coding agents that instantiates this physical feedback routine with four core modules: an Environment module (EN) for automatic reset and verification, a Policy Improvement module (PI) that launches policy refinement, a Rollout module (R) to evaluate policies with one or multiple physical robots operating in parallel, and an Evolution module (E) in which coding agents analyze logs, consult literature, improve training infrastructure and algorithm code to address failure modes. This closed-loop system transforms real-world manipulation learning into a controllable optimization procedure, minimizing human effort while allowing fair ablations across training recipe and agent variants. Powered by ENPIRE, frontier coding agents can autonomously train a policy to achieve a 99% success rate on challenging, dexterous manipulation tasks, such as organizing a pin box, fastening a zip tie, and tool use, a process that further accelerates when we dispatch an agent team on a robot fleet. Our results suggest a practical and scalable path toward deploying coding agents to autonomously advancing robotics in the physical world.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19980v2제출 시각 미확인
  2. arXiv:2606.19980v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13816v1cs.RO공통 태그 Reinforcement Learning, Continuous Control, Robot Manipulation

Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.

arXiv:2610.01019v1cs.CV공통 태그 Reinforcement Learning, Continuous Control, Robot Manipulation

FutureWorlds: 대안적 미래로부터 로봇 월드 모델 학습하기

FutureWorlds: Learning Robotic World Models from Alternative Futures

로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.

arXiv:2610.01939v1cs.CV공통 태그 Continuous Control, Code Generation, Robot Manipulation

더 적은 토큰으로 더 나은 행동을: 14% 더 높은 성공률과 65% 더 적은 토큰을 달성한 GPT-6 Astra 로봇 에이전트

Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

비전-언어 모델(VLM) 에이전트는 시각적 피드백과 행동 프리미티브를 통해 로봇을 제어할 수 있지만, 반복적인 모델 호출과 불필요한 관측으로 인해 상당한 토큰 오버헤드가 발생합니다. 본 논문에서는 피드백 기반 프리미티브 구성과 선택적 관측을 결합한 대화형 코드 실행 프레임워크인 PyRUA-Lean을 제안합니다. 이 에이전트는 고전적인 로봇 프리미티브와 학습된 비전-언어-행동(VLA) 정책을 조건부 확인 및 로컬 재시도를 수행하는 Python 셀로 구성하며, 재계획을 위해 명시적으로 요청된 이미지와 상태 피드백만을 반환합니다. LIBERO-PRO, RoboTwin 2.0 및 RoboCasa365의 700개 시뮬레이션 작업 인스턴스에 걸쳐, 동일한 GPT-6 Astra 플래너와 기반 로봇 프리미티브를 사용하는 도구 호출 기준선과 PyRUA-Lean을 비교합니다. 동일한 대규모 언어 모델(LLM) 호출 예산 하에서, PyRUA-Lean은 전체 성공률을 63.1%에서 71.7%로 향상시킵니다. 두 에이전트가 모두 해결한 인스턴스에서 PyRUA-Lean은 LLM 호출을 49% 적게 사용하고 입력 토큰을 65% 적게 사용합니다.

arXiv:2609.27450v1cs.RO공통 태그 Reinforcement Learning, Continuous Control, Robot Manipulation

BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습

BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.

arXiv:2610.03391v2cs.CV공통 태그 Continuous Control, Robot Manipulation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.