Efficient Learning of High Level Plans from Play
원문 초록
Real-world robotic manipulation tasks remain an elusive challenge, since they involve both fine-grained environment interaction, as well as the ability to plan for long-horizon goals. Although deep reinforcement learning (RL) methods have shown encouraging results when planning end-to-end in high-dimensional environments, they remain fundamentally limited by poor sample efficiency due to inefficient exploration, and by the complexity of credit assignment over long horizons. In this work, we present Efficient Learning of High-Level Plans from Play (ELF-P), a framework for robotic learning that bridges motion planning and deep RL to achieve long-horizon complex manipulation tasks. We leverage task-agnostic play data to learn a discrete behavioral prior over object-centric primitives, modeling their feasibility given the current context. We then design a high-level goal-conditioned policy which (1) uses primitives as building blocks to scaffold complex long-horizon tasks and (2) leverages the behavioral prior to accelerate learning. We demonstrate that ELF-P has significantly better sample efficiency than relevant baselines over multiple realistic manipulation tasks and learns policies that can be easily transferred to physical hardware.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술
AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.
딥 강화학습 기반 3D 기하학적 치열 정렬 계획
3D Geometric Tooth Alignment Planning via Deep Reinforcement Learning
3D 기하학적 치열 정렬 계획은 초기 부정교합에서 최종 목표 정렬까지의 순차적 궤적을 결정하는 것으로, 현대 디지털 치아교정의 핵심이다. 본 논문은 이러한 정렬 경로 생성을 자동화하기 위한 새로운 딥 강화학습(DRL) 프레임워크를 제안한다. 계획 과정을 마르코프 결정 과정(MDP)으로 공식화하여 순차적 의사결정 특성을 포착하고, 치아 간 충돌 회피 및 경로 효율성과 같은 필수적인 공간 제약을 통합하면서 기하학적 궤적 최적화에 집중한다. 제안 방법은 Deep Deterministic Policy Gradient(DDPG) 알고리즘을 활용하며, 세 가지 핵심 혁신으로 강화된다: (1) 치아 간 복잡한 공간 상호작용을 모델링하고 고차원 상태-행동 공간을 관리하는 트랜스포머 기반 에이전트, (2) 각 단계마다 이동을 치아의 희소 부분집합으로 제한하여 순차적 정렬의 임상적 논리를 더 잘 반영하는 동적 마스킹 방식, (3) 학습 안정성과 효율적인 경로 탐색을 보장하기 위해 과제 난이도를 점진적으로 높이는 2단계 커리큘럼 학습 전략. 임상 데이터 기반의 전문가 설계 치료 계획 1만 건 데이터셋에서 접근법을 평가하였다. 실험 결과는 제안 방법이 경로 안전성과 기하학적 효율성 측면에서 기존 기준선을 능가하며, 3D 기하학적 치아교정 정렬 계획을 위한 견고하고 자동화된 해결책을 제공함을 보여준다.
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Energy Harvesting Reconfigurable Intelligent Surface for UAV Based on Robust Deep Reinforcement Learning
Multi-modal Siamese Network for Entity Alignment
QuickPose: Real-time Multi-view Multi-person Pose Estimation in Crowded Scenes
토론
이 논문과 연결된 포럼 글이 아직 없습니다.