arXiv:1805.06150

FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning

Shah Pararth, Fiser Marek, Faust Aleksandra, Kew J. Chase, Hakkani-Tur Dilek

제출 2018-05-16

원문 초록

Understanding and following directions provided by humans can enable robots to navigate effectively in unknown situations. We present FollowNet, an end-to-end differentiable neural architecture for learning multi-modal navigation policies. FollowNet maps natural language instructions as well as visual and depth inputs to locomotion primitives. FollowNet processes instructions using an attention mechanism conditioned on its visual and depth input to focus on the relevant parts of the command while performing the navigation task. Deep reinforcement learning (RL) a sparse reward learns simultaneously the state representation, the attention function, and control policies. We evaluate our agent on a dataset of complex natural language directions that guide the agent through a rich and realistic dataset of simulated homes. We show that the FollowNet agent learns to execute previously unseen instructions described with a similar vocabulary, and successfully navigates along paths not encountered during training. The agent shows 30% improvement over a baseline model without the attention mechanism, with 52% success rate at novel instructions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20834v1cs.LG공통 태그 reinforcement-learning, Navigate, Deep Reinforcement Learning

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.20785v1cs.RO공통 태그 reinforcement-learning, Navigate, Robot Navigation

Robostral Navigate

Robostral Navigate

내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.

arXiv:2607.13553v1cs.RO공통 태그 Navigate, Deep Reinforcement Learning, Robot Navigation

비정상 유동에서 강화학습 기반 유동 인식 최적 항법

Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning

비정상(nonstationary) 시변 유체 유동에서의 자율 로봇 항법은 부분 관측 가능성과 현실적 환경의 예측 불가능성으로 인해 근본적인 난제로 남아 있다. 로봇 공학에서 사용되는 고전적 최적 제어 프레임워크는 비현실적인 사전 전역 유동 지식을 요구하는 반면, 생물 시스템은 국소적 감각 단서를 활용하여 성공적으로 항해할 수 있다. 본 연구에서는 TD3 알고리즘을 사용하는 강화학습 접근법을 제시하여, 매개변수적 혼돈 이중 소용돌이(double-gyre) 유동 내에서 임의의 목표에 도달하도록 자율 에이전트를 학습한다. 최적 감각 기법을 조사하기 위해, 상대 위치, 국소 속도 또는 국소 와도(vorticity) 측정치, 단기 기억 변형을 기반으로 한 다섯 가지 생물 모방 관측 전략을 평가한다. 또한 에이전트에게 명시적 전역 유동 매개변수를 제공하는 것의 영향을 분석한다. 수치 결과는 일정 수의 유동 속도 측정치를 감지하고 기억할 수 있는 에이전트가 최고 성능을 달성함을 보여준다. 실험은 센서 유용성에 있어 트레이드오프를 밝힌다: 속도 인식 에이전트는 에너지 효율을 최적화하는 반면, 와도 센서는 우수한 구조적 매핑을 제공하고 더 나은 목표 근접성을 달성한다. 명시적 전역 유동 매개변수를 포함하면 항법 성능이 저하되는 것으로 나타났다. 이러한 행동은 강화학습 기반 자율 시스템이 암시적 유동 표현으로 제한될 때 더 견고하고 일반적인 정책을 개발함을 시사한다. 제시된 결과는 시뮬레이션에서 실제 환경으로의 생물 모방 로봇 항법 전환을 개선하는 데 통찰을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.