arXiv:2410.14972

MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning

Suning Huang, Zheyu Zhang, Tianhai Liang, Yihan Xu, Zhehao Kou, Chenhao Lu, Guowei Xu, Zhengrong Xue, Huazhe Xu

제출 2024-10-19

원문 초록

Visual deep reinforcement learning (RL) enables robots to acquire skills from visual input for unstructured tasks. However, current algorithms suffer from low sample efficiency, limiting their practical applicability. In this work, we present MENTOR, a method that improves both the architecture and optimization of RL agents. Specifically, MENTOR replaces the standard multi-layer perceptron (MLP) with a mixture-of-experts (MoE) backbone and introduces a task-oriented perturbation mechanism. MENTOR outperforms state-of-the-art methods across three simulation benchmarks and achieves an average of 83% success rate on three challenging real-world robotic manipulation tasks, significantly surpassing the 32% success rate of the strongest existing model-free visual RL algorithm. These results underscore the importance of sample efficiency in advancing visual RL for real-world robotics. Experimental videos are available at https://suninghuang19.github.io/mentor_page/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13354v1cs.AI공통 태그 Reinforcement Learning (RL), Deep Reinforcement Learning

AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술

AlphaNIST: Emergent Assembly Skills from Binary Task Rewards

NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.

arXiv:2607.18722v3cs.LG공통 태그 Mixture-of-Experts, Deep Reinforcement Learning

낡았지만 안정적: 비동기 강화학습 안정화를 위한 낡음 적응형 신뢰 영역

Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning

비동기 강화학습은 롤아웃 생성과 최적화를 분리함으로써 처리량을 높이지만, 그로 인한 낡음(staleness)은 피할 수 없는 부산물이며, 정책 지연, 엔진 지연, 전문가 혼합(MoE) 라우팅이 복합적으로 이를 악화시킨다. 신뢰 영역(trust region) 관점에서 이러한 불일치는 중요하다. 유한 수평선 개선 상한(finite-horizon improvement bound)에서 학습-추론 발산(training-inference divergence)이 근사 오차를 지배하는 반면, PPO 클리핑은 샘플링된 외향(outward) 업데이트만 게이트하므로 전체 정책 제약이 아니라 샘플링된 대리(surrogate)로 작용한다. 그 결과, 높은 낡음 업데이트는 낡은 롤아웃이 가장 중요한 바로 그 비동기 체제에서 약하게 제어된 채 남을 수 있다. 우리는 분리된(detached) 샘플링 log-ratio를 실용적인 낡음 프록시로 사용하고, 낡음 기반 커널 함수 스케일링을 통해 각 배치 내 고불일치(high-mismatch) 꼬리를 식별하며, Effective contraction factors를 사용해 명목 PPO 구간의 부호 선택(sign-selected) 끝점만 수축(contract)하는 Staleness-Adaptive Trust Region(SAT)을 제안한다. 이 설계는 일반 토큰에서 기준선 동작을 보존하면서, 새로 가로챈(intercepted) 외향 밴드에서만 업데이트를 더 보수적으로 만든다. 우리는 Qwen3-30B-A3B-Base 기반의 완전 분리형 비동기 강화학습 설정에서 SAT를 평가하며, SGLang을 추론 엔진으로, Megatron을 학습 파이프라인으로 활용한다. 이 설정에서 SAT-GSPO w/ R3는 관측된 최고 AIME24 avg@8을 달성하여 lag 1에서 35.83, lag 8에서 34.79에 도달했으며, SAT-GSPO는 lag 1에서 34.17에 도달한다. 더 넓게 보면, 결과는 클립 구간을 관측된 낡음 이질성(staleness heterogeneity)에 맞추는 것이 보고된 비동기 체제를 안정화하는 효과적인 방법임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.