Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
원문 초록
High-quality and representative data is essential for both Imitation Learning (IL)- and Reinforcement Learning (RL)-based motion planning tasks. For real robots, it is challenging to collect enough qualified data either as demonstrations for IL or experiences for RL due to safety considerations in environments with obstacles. We target this challenge by proposing the self-imitation learning by planning plus (SILP+) algorithm, which efficiently embeds experience-based planning into the learning architecture to mitigate the data-collection problem. The planner generates demonstrations based on successfully visited states from the current RL policy, and the policy improves by learning from these demonstrations. In this way, we relieve the demand for human expert operators to collect demonstrations required by IL and improve the RL performance as well. Various experimental results show that SILP+ achieves better training efficiency higher and more stable success rate in complex motion planning tasks compared to several other methods. Extensive tests on physical robots illustrate the effectiveness of SILP+ in a physical setting.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Guided Action Flow: 동결된 비전-언어-행동 정책을 위한 가치 유도 샘플링
Guided Action Flow: Value-Guided Sampling for Frozen Vision-Language-Action Policies
강화학습(reinforcement learning)은 지도 미세조정(supervised fine-tuning)을 넘어 비전-언어-행동(VLA) 정책을 개선할 수 있지만, 일반적으로 정책 매개변수(parameter)에 대한 추가적인 업데이트를 수반합니다. 플로우 매칭(flow-matching) 정책의 경우, 반복적인 행동 생성은 추론(inference) 중에 태스크 정보를 통합할 수 있는 추가적인 기회를 제공합니다. 본 논문에서는 로봇 태스크 롤아웃(rollout)으로부터 소형의 관측 조건부 행동-가치 크리틱(action-value critic)을 학습하고, 역시간 플로우 샘플링을 유도하기 위해 해당 크리틱의 행동 그래디언트(gradient)를 적용하는 Guided Action Flow(GAF)를 소개합니다. 지도 미세조정된 VLA는 크리틱 학습 및 배포 전반에 걸쳐 동결된 상태로 유지됩니다. 실제 로봇 실험 결과, 6개의 기본 조작 태스크 전반에서 종합 성공률이 60.0%에서 82.5%로 증가함을 보였습니다. 이 중 3개 태스크에서 평가된 6가지 조명 변경 및 물체 방해 요인 조건에서는 종합 성공률이 34.2%에서 49.2%로 향상되었습니다. 소거 연구(ablation) 및 롤아웃 분석은 학습된 유도 방향과 크리틱의 시각 및 고유수용성 감각(proprioceptive) 입력의 중요성을 뒷받침합니다. 0.45B 매개변수의 VLA와 함께 약 2.735M개의 학습 가능한 크리틱 매개변수를 갖춘 GAF는 컴팩트한 추론 시점 유도 모듈을 통해 태스크 결과가 행동 생성에 반영될 수 있도록 지원합니다.
Shift & Drift: 일반화 가능하고 강건한 자율주행 모션 플래닝을 위한 제로샷 벤치마크
Shift & Drift: A Zero-Shot Benchmark for Generalizable and Robust Autonomous Driving Motion Planning
nuPlan과 같은 대규모 객체 수준 데이터셋으로 학습된 폐루프(closed-loop) 모션 플래너는 분포 내(in-distribution, ID) 성능이 우수하지만, 새로운 도시 토폴로지에 대한 일반화 능력과 실행 중 섭동(perturbation) 발생 후 복구 메커니즘은 충분히 탐구되지 않았다. 이를 해결하기 위해 우리는 두 가지 핵심 분포 변화 축에 걸쳐 모션 플래너를 엄밀하게 stress-test하도록 설계된 새로운 이중 트랙 벤치마크인 Shift & Drift를 제시한다. (1) Semantic Shift Track은 공중 촬영 기반의 DeepScenario Open 3D 데이터셋을 nuPlan 시뮬레이션 프레임워크로 변환하는 새로운 변환 파이프라인을 활용한다. 이를 통해 북미 및 싱가포르 데이터로 학습된 플래너를 독일 4개 도시와 미국 샌프란시스코에 걸친 1,182개 시나리오—보행자-자전거 이용자 간 밀집 상호작용이 특징적인—에 대해 제로샷(zero-shot) 평가할 수 있다. (2) State-Distribution Drift Track은 자차(ego vehicle)의 동역학에 확률적 섭동을 주입하여 누적 실행 오류에 대한 강건성을 정량화한다. 이를 기반으로 우리는 시맨틱 및 상태 분포 변화 하에서 다양한 플래닝 패러다임의 실패 양상을 체계적으로 평가한다. 모방 학습(imitation learning) 방법은 ID 벤치마크에서 높은 점수를 달성하지만, 시맨틱 변화—특히 보행자 밀집 환경—에서 심각한 실패를 나타내며, 시간적으로 상관된 액추에이션 노이즈에 노출될 경우 지속적인 드리프트(drift)를 겪는다. 이와 대조적으로, 평가된 강화학습(reinforcement learning) 기반 플래너는 두 트랙 모두에서 더 높은 안전성 및 진행 지표를 유지하며 보다 완만한 성능 저하를 보인다. 우리의 연구 결과는 모방 충실도와 폐루프 복원력 사이의 경험적 트레이드오프를 밝히며, 신뢰할 수 있는 배포를 향한 진전을 평가하기 위한 엄밀한 벤치마크를 커뮤니티에 제공한다.
QuickPose: Real-time Multi-view Multi-person Pose Estimation in Crowded Scenes
Imitation Learning for Sentence Generation with Dilated Convolutions Using Adversarial Training
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.