arXiv:2011.00554

Can a Robot Trust You? A DRL-Based Approach to Trust-Driven Human-Guided Navigation

Vishnu Sashank Dorbala, Arjun Srinivasan, Aniket Bera

제출 2020-11-01

원문 초록

Humans are known to construct cognitive maps of their everyday surroundings using a variety of perceptual inputs. As such, when a human is asked for directions to a particular location, their wayfinding capability in converting this cognitive map into directional instructions is challenged. Owing to spatial anxiety, the language used in the spoken instructions can be vague and often unclear. To account for this unreliability in navigational guidance, we propose a novel Deep Reinforcement Learning (DRL) based trust-driven robot navigation algorithm that learns humans' trustworthiness to perform a language guided navigation task. Our approach seeks to answer the question as to whether a robot can trust a human's navigational guidance or not. To this end, we look at training a policy that learns to navigate towards a goal location using only trustworthy human guidance, driven by its own robot trust metric. We look at quantifying various affective features from language-based instructions and incorporate them into our policy's observation space in the form of a human trust metric. We utilize both these trust metrics into an optimal cognitive reasoning scheme that decides when and when not to trust the given guidance. Our results show that the learned policy can navigate the environment in an optimal, time-efficient manner as opposed to an explorative approach that performs the same task. We showcase the efficacy of our results both in simulation and a real-world environment.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13553v1cs.RO공통 태그 Navigate, Deep Reinforcement Learning, Robot Navigation

비정상 유동에서 강화학습 기반 유동 인식 최적 항법

Flow-aware Optimal Navigation in Unsteady Flows through Reinforcement Learning

비정상(nonstationary) 시변 유체 유동에서의 자율 로봇 항법은 부분 관측 가능성과 현실적 환경의 예측 불가능성으로 인해 근본적인 난제로 남아 있다. 로봇 공학에서 사용되는 고전적 최적 제어 프레임워크는 비현실적인 사전 전역 유동 지식을 요구하는 반면, 생물 시스템은 국소적 감각 단서를 활용하여 성공적으로 항해할 수 있다. 본 연구에서는 TD3 알고리즘을 사용하는 강화학습 접근법을 제시하여, 매개변수적 혼돈 이중 소용돌이(double-gyre) 유동 내에서 임의의 목표에 도달하도록 자율 에이전트를 학습한다. 최적 감각 기법을 조사하기 위해, 상대 위치, 국소 속도 또는 국소 와도(vorticity) 측정치, 단기 기억 변형을 기반으로 한 다섯 가지 생물 모방 관측 전략을 평가한다. 또한 에이전트에게 명시적 전역 유동 매개변수를 제공하는 것의 영향을 분석한다. 수치 결과는 일정 수의 유동 속도 측정치를 감지하고 기억할 수 있는 에이전트가 최고 성능을 달성함을 보여준다. 실험은 센서 유용성에 있어 트레이드오프를 밝힌다: 속도 인식 에이전트는 에너지 효율을 최적화하는 반면, 와도 센서는 우수한 구조적 매핑을 제공하고 더 나은 목표 근접성을 달성한다. 명시적 전역 유동 매개변수를 포함하면 항법 성능이 저하되는 것으로 나타났다. 이러한 행동은 강화학습 기반 자율 시스템이 암시적 유동 표현으로 제한될 때 더 견고하고 일반적인 정책을 개발함을 시사한다. 제시된 결과는 시뮬레이션에서 실제 환경으로의 생물 모방 로봇 항법 전환을 개선하는 데 통찰을 제공한다.

arXiv:2610.02974v1cs.RO공통 태그 Navigate, Robot Navigation

언어 사전분포에서 현장 적응까지: 주행 가능성 추정을 위한 선호도 학습

From Language Priors to Field Adaptation: Preference Learning for Traversability Estimation

이미지 기반 주행 가능성(traversability) 추정은 로봇 플랫폼, 배포 도메인, 임무 선호도에 본질적으로 의존하므로, 특정 목적에 맞춰 학습된 모델의 적용 가능성을 제한합니다. 도메인 적응을 용이하게 하기 위해, 본 연구는 샘플 효율적인 선호도 학습을 사용하여 타깃 도메인에서 필요한 어노테이션 수를 줄이는 것을 목표로 합니다. 제안하는 방법은 동결된 비전-언어(vision-language) 특징(feature) 공간에서 폰 미제스-피셔(von Mises-Fisher) 혼합 프로토타입을 통해 주행 가능성을 표현합니다. 상대적 자연어 규칙은 상식적 사전분포(commonsense prior)를 제공하는 한편, 희소한 상대적 이미지 어노테이션은 계산 및 샘플 효율적인 미세조정(fine-tuning)을 통해 프로토타입의 방향과 효용을 타깃 도메인에 적응시킵니다. WayFAST에서의 실험은 샘플 효율적인 이미지 기반 적응을 가능하게 하면서도 엔드투엔드(end-to-end)로 학습된 추정기와 대등한 정확도를 보임을 입증합니다. 정성적 실험은 언어 사전분포의 제로샷(zero-shot) 적용 가능성과 미세조정된 추정기가 시맨틱 맵에서 향상된 조밀 예측(dense prediction)을 수행함을 추가로 보여줍니다. 또한 의미상 가까운 자연어 프롬프트를 분석하여 학습된 프로토타입의 의미론적 해석을 통해 평가를 보완합니다. 코드와 학습된 추정기는 https://resireg.github.io 에서 확인할 수 있습니다.

arXiv:2609.23643v1cs.RO공통 태그 Navigate, Deep Reinforcement Learning

토목 인프라 및 건축물의 협소한 개구부 통과 자율 무인 항공기 내비게이션을 위한 스파이킹 신경망 액터-크리틱 근접 정책 최적화 제어

Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings

제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.

arXiv:2607.20834v1cs.LG공통 태그 Navigate, Deep Reinforcement Learning

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.20785v1cs.RO공통 태그 Navigate, Robot Navigation

Robostral Navigate

Robostral Navigate

내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.

arXiv:2607.13653v1cs.CV공통 태그 Navigate, Deep Reinforcement Learning

탐험적, 소통형, 그리고 배포 가능한: 오픈 월드 모바일 매니퓰레이션을 위한 비전 주도 체화 에이전트

Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation

체화 에이전트의 실제 환경 배포에는 능동적 탐험, 시각적 그라운딩, 그리고 대화형 의도 모호성 해소가 필요하다. 그러나 기존 프레임워크는 종종 특권적인 시뮬레이터 상태에 의존하거나 완전한 지시를 가정하여 현실적인 배포 과제를 우회하는 경우가 많다. 이 간극을 메우기 위해, 우리는 오픈 월드 모바일 매니퓰레이션을 위한 에이전트형 프레임워크인 REAL을 제안한다. REAL은 오라클 인식 없이 sim-to-real 일관성 환경 API를 구축하고, human-in-the-loop 상호작용을 가능하게 하기 위해 시뮬레이션 사용자를 통합한다. 이 환경 내에서 우리는 데이터 수집, 지도 미세조정, 온라인 강화학습을 이끌기 위해 다양한 과제 구성을 설계하고, 에이전트 성능을 체계적으로 최적화한다. 이 접근법을 종합적으로 평가하기 위해, 능동적 탐험, 시각적 방해, 관절형 조작, 대화형 모호성 해소에 걸친 241개 과제를 아우르는 벤치마크 REAL-Bench를 도입한다. 실험 결과, 우리가 학습한 에이전트가 대화형 과제에서 56.9%의 성공률로 주요 상용 폐쇄형 VLM을 능가함을 보여준다. 추가 실증 분석은 우리의 계층적 학습 파이프라인이 확장된 탐험 지평 하에서 견고한 오픈-어휘 추론을 유지하면서 모델의 도구 사용 능력을 성공적으로 정렬함을 밝힌다. 마지막으로 우리는 물리적 양팔 이동 로봇에 프레임워크를 배포·평가했으며, 60회의 실세계 에피소드에서 78.3%의 end-to-end 성공률을 달성했다. 이 물리 실험은 보지 못한 가정 시나리오에 대한 견고한 제로샷 전이 가능성을 보여 주며, sim-to-real 일관 설계가 장기간 모바일 매니퓰레이션에서 현실 격차를 성공적으로 메웠음을 검증한다. 코드는 https://github.com/InternRobotics/REAL 에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.