Mobile Robots through Task-Based Human Instructions using Incremental Curriculum Learning
원문 초록
This paper explores the integration of incremental curriculum learning (ICL) with deep reinforcement learning (DRL) techniques to facilitate mobile robot navigation through task-based human instruction. By adopting a curriculum that mirrors the progressive complexity encountered in human learning, our approach systematically enhances robots' ability to interpret and execute complex instructions over time. We explore the principles of DRL and its synergy with ICL, demonstrating how this combination not only improves training efficiency but also equips mobile robots with the generalization capability required for navigating through dynamic indoor environments. Empirical results indicate that robots trained with our ICL-enhanced DRL framework outperform those trained without curriculum learning, highlighting the benefits of structured learning progressions in robotic training.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비정상 유동에서 강화학습 기반 유동 인식 최적 항법
Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning
비정상(nonstationary) 시변 유체 유동에서의 자율 로봇 항법은 부분 관측 가능성과 현실적 환경의 예측 불가능성으로 인해 근본적인 난제로 남아 있다. 로봇 공학에서 사용되는 고전적 최적 제어 프레임워크는 비현실적인 사전 전역 유동 지식을 요구하는 반면, 생물 시스템은 국소적 감각 단서를 활용하여 성공적으로 항해할 수 있다. 본 연구에서는 TD3 알고리즘을 사용하는 강화학습 접근법을 제시하여, 매개변수적 혼돈 이중 소용돌이(double-gyre) 유동 내에서 임의의 목표에 도달하도록 자율 에이전트를 학습한다. 최적 감각 기법을 조사하기 위해, 상대 위치, 국소 속도 또는 국소 와도(vorticity) 측정치, 단기 기억 변형을 기반으로 한 다섯 가지 생물 모방 관측 전략을 평가한다. 또한 에이전트에게 명시적 전역 유동 매개변수를 제공하는 것의 영향을 분석한다. 수치 결과는 일정 수의 유동 속도 측정치를 감지하고 기억할 수 있는 에이전트가 최고 성능을 달성함을 보여준다. 실험은 센서 유용성에 있어 트레이드오프를 밝힌다: 속도 인식 에이전트는 에너지 효율을 최적화하는 반면, 와도 센서는 우수한 구조적 매핑을 제공하고 더 나은 목표 근접성을 달성한다. 명시적 전역 유동 매개변수를 포함하면 항법 성능이 저하되는 것으로 나타났다. 이러한 행동은 강화학습 기반 자율 시스템이 암시적 유동 표현으로 제한될 때 더 견고하고 일반적인 정책을 개발함을 시사한다. 제시된 결과는 시뮬레이션에서 실제 환경으로의 생물 모방 로봇 항법 전환을 개선하는 데 통찰을 제공한다.
점수 기반 확산 샘플링을 위한 적응적 재매개변수화 시간
Adaptive Reparametrized Time for Score-Based Diffusion Sampling
본 논문은 학습된 역시간 동역학을 유한한 격자에서 이산화하는 점수 기반 확산 샘플링의 시간 간격 할당을 연구한다. 균일 스케줄과 수작업 스케줄이 표준으로 쓰이지만, 이들의 고정적이고 임의적인 규정은 최적이 아닐 수 있다. 본 논문은 샘플링 시계의 속도를 제어로 취급하여 시간 변환을 학습하는 연속시간 제어 정식화인 적응적 재매개변수화 시간(ART)을 제안한다. 학습된 시계에서의 균일 격자는 확산 시간에서 적응적인 시간 간격을 유도하며, 오일러 오차의 최저차 대리 지표가 할당 목적함수를 정의한다. 그 결과로 얻어지는 고차원 결정론적 제어 문제를 풀기 위해, 스케줄 학습을 연속시간 강화학습으로 전환하는 보조적 무작위 가우시안 정책 정식화인 ART-RL을 도입한다. 최적에서 ART-RL이 ART와 동등함을, 즉 최적 가우시안 정책의 평균이 ART를 푼다는 것을 증명한다. 또한 정책 평가와 정책 개선의 특성화를 확립하고, 구현 가능한 액터-크리틱 갱신을 이끄는 궤적 기반 모멘트 항등식을 유도한다. 통제된 저차원 설정부터 이미지 생성에 이르는 실험은, ART로 학습된 스케줄을 시간 격자만 바꾸어 기존 샘플러에 적용했을 때 동일한 예산에서 강력한 기준선보다 샘플 품질이 일관되게 향상됨을 보여준다. 학습된 스케줄은 또한 재학습 없이 샘플링 예산, 데이터셋, 솔버, 파이프라인, 표현 공간 전반으로 전이되는 폭넓은 일반화 능력을 보인다.
학습된 불확실성은 언제 신뢰할 수 있는가? 분포적 강화학습에 대한 감사
When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning
많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.
인간 시연으로부터의 접촉 렌치 안내를 이용한 능숙한 조작 학습
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
능숙한 로봇 조작은 풍부한 인간 시연으로부터 이점을 얻을 수 있으나, 이러한 시연을 로봇 정책으로 전이하는 것은 여전히 어렵다. 본 논문은 강화학습을 이용한 강체 및 관절 물체의 장기 조작을 위한 프레임워크인 인간 시연 기반 로봇 능숙 조작의 접촉 렌치 안내(Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation, CHORD)를 제시한다. 핵심 아이디어는 객체 중심 접촉 렌치 공간 안내이다. 인간과 로봇의 동작을 물체에 가할 수 있는 힘과 토크로 표현하여, 유발되는 순간 운동으로 유사도를 측정할 수 있게 한다. 이 안내는 접촉이 많은 능숙한 조작에서 강화학습을 더 확장 가능하게 만든다. 또한 모션 캡처 데이터셋과 자체 촬영 영상을 복원하여 구성한, 4,739개의 양손 능숙 조작 과제로 이루어진 대규모 시뮬레이션 벤치마크를 소개한다. 1,831개의 벤치마크 과제에서 평가한 결과 CHORD는 평균 성공률 82.12%를 달성하여 강한 확장성을 보였다. CHORD는 또한 손만 있는 시연과 3인칭 시연으로부터 전신 조작으로 일반화하여 90.77%의 성공률을 달성하며, 학습된 정책은 개루프 및 폐루프 설정 모두에서 실제 세계로 전이된다.
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.