arXiv:2203.15041

Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of Demonstrations for Social Navigation

Haresh Karnan, Anirudh Nair, Xuesu Xiao, Garrett Warnell, Soeren Pirk, Alexander Toshev, Justin Hart, Joydeep Biswas, Peter Stone

제출 2022-03-28

원문 초록

Social navigation is the capability of an autonomous agent, such as a robot, to navigate in a 'socially compliant' manner in the presence of other intelligent agents such as humans. With the emergence of autonomously navigating mobile robots in human populated environments (e.g., domestic service robots in homes and restaurants and food delivery robots on public sidewalks), incorporating socially compliant navigation behaviors on these robots becomes critical to ensuring safe and comfortable human robot coexistence. To address this challenge, imitation learning is a promising framework, since it is easier for humans to demonstrate the task of social navigation rather than to formulate reward functions that accurately capture the complex multi objective setting of social navigation. The use of imitation learning and inverse reinforcement learning to social navigation for mobile robots, however, is currently hindered by a lack of large scale datasets that capture socially compliant robot navigation demonstrations in the wild. To fill this gap, we introduce Socially CompliAnt Navigation Dataset (SCAND) a large scale, first person view dataset of socially compliant navigation demonstrations. Our dataset contains 8.7 hours, 138 trajectories, 25 miles of socially compliant, human teleoperated driving demonstrations that comprises multi modal data streams including 3D lidar, joystick commands, odometry, visual and inertial information, collected on two morphologically different mobile robots a Boston Dynamics Spot and a Clearpath Jackal by four different human demonstrators in both indoor and outdoor environments. We additionally perform preliminary analysis and validation through real world robot experiments and show that navigation policies learned by imitation learning on SCAND generate socially compliant behaviors

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20785v1cs.RO공통 태그 Imitation Learning, Navigate, Robot Navigation

Robostral Navigate

Robostral Navigate

내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.

arXiv:2607.09792v1cs.RO공통 태그 Imitation Learning, Navigate, Robot Navigation

구현된 비전-언어 내비게이션의 종합적 서베이 및 체계적 실세계 평가

A Comprehensive Survey and Systematic Real-World Evaluation of Embodied Vision-and-Language Navigation

내비게이션은 자율 시스템의 기본적인 능력이지만, 기존 대부분의 접근법은 고도로 구조화된 모델과 강한 사전 가정에 의존하여 열린 불확실한 실세계 환경에서의 견고성을 제한한다. 비전-언어 내비게이션(VLN)은 로봇이 데이터 기반 방식으로 자연어 이해와 시각적 지각을 통합할 수 있게 함으로써 유망한 방향을 제시한다. VLN이 점점 더 많은 연구 관심을 받고 있음에도 불구하고, 체계적인 방법론적 분류와 실세계 검증은 여전히 제한적이다. 본 서베이는 VLN 연구에 대한 종합적인 리뷰를 제시한다. 구체적으로, 최신 방법들을 두 가지 직교 차원에 따라 정리한다: 계층적 및 단일체(monolithic) 프레임워크를 포함하는 행동 패러다임과, 판별적(discriminative) 및 생성적(generative) 접근법을 포함하는 모델 패러다임. 각각의 강점과 한계에 대한 비판적 분석이 제공된다. 또한, 물리적 로봇 플랫폼에서 대표적인 VLN 시스템 구성에 대한 체계적인 실세계 평가를 수행한다. 열 가지 다양한 실세계 장면에 걸친 실험은 테스트된 구성에서 시뮬레이션과 실세계 배포 간의 상당한 성능 격차를 보여준다: 대표적인 단일체 RGB 전용 방법은 시뮬레이션에서 61%의 성공률을 달성하지만 실세계 배포에서는 22%로 떨어지는 반면, 계층적 프레임워크는 51%의 더 높은 실세계 성공률을 달성하여 우리의 평가 환경에서 더 강한 견고성을 시사한다. 마지막으로, 향후 연구에서 반드시 해결해야 할 지각, 의사결정, 제어 분야의 핵심 과제들을 강조한다.

arXiv:2607.13472v2cs.RO공통 태그 Imitation Learning, Navigate

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

arXiv:2610.02974v1cs.RO공통 태그 Navigate, Robot Navigation

언어 사전분포에서 현장 적응까지: 주행 가능성 추정을 위한 선호도 학습

From Language Priors to Field Adaptation: Preference Learning for Traversability Estimation

이미지 기반 주행 가능성(traversability) 추정은 로봇 플랫폼, 배포 도메인, 임무 선호도에 본질적으로 의존하므로, 특정 목적에 맞춰 학습된 모델의 적용 가능성을 제한합니다. 도메인 적응을 용이하게 하기 위해, 본 연구는 샘플 효율적인 선호도 학습을 사용하여 타깃 도메인에서 필요한 어노테이션 수를 줄이는 것을 목표로 합니다. 제안하는 방법은 동결된 비전-언어(vision-language) 특징(feature) 공간에서 폰 미제스-피셔(von Mises-Fisher) 혼합 프로토타입을 통해 주행 가능성을 표현합니다. 상대적 자연어 규칙은 상식적 사전분포(commonsense prior)를 제공하는 한편, 희소한 상대적 이미지 어노테이션은 계산 및 샘플 효율적인 미세조정(fine-tuning)을 통해 프로토타입의 방향과 효용을 타깃 도메인에 적응시킵니다. WayFAST에서의 실험은 샘플 효율적인 이미지 기반 적응을 가능하게 하면서도 엔드투엔드(end-to-end)로 학습된 추정기와 대등한 정확도를 보임을 입증합니다. 정성적 실험은 언어 사전분포의 제로샷(zero-shot) 적용 가능성과 미세조정된 추정기가 시맨틱 맵에서 향상된 조밀 예측(dense prediction)을 수행함을 추가로 보여줍니다. 또한 의미상 가까운 자연어 프롬프트를 분석하여 학습된 프로토타입의 의미론적 해석을 통해 평가를 보완합니다. 코드와 학습된 추정기는 https://resireg.github.io 에서 확인할 수 있습니다.

arXiv:2609.37476v2cs.RO공통 태그 Navigate, Social Navigation

정책 상태 공간에서 인터넷 영상을 통한 사회적 내비게이션 학습

Learning Social Navigation from Internet Videos in the Policy State Space

강건한 사회적 내비게이션(social navigation) 정책을 학습(training)시키려면 다양한 장면 배치, 지형, 인간의 움직임을 갖춘 시뮬레이터가 필요하지만, 이러한 환경을 구축하고 보행자 행동을 지정하는 데는 많은 비용이 듭니다. 본 논문에서는 일반적인 단안 보행 영상을 정책의 상태 공간 내 폐루프(closed-loop) 사회적 내비게이션 학습 환경으로 직접 변환하는 효율적인 파이프라인을 제안합니다. 우리의 핵심 관찰은 로컬 사회적 내비게이션이 주로 두 가지 유형의 정보, 즉 로봇이 어디로 주행할 수 있는지와 주변 보행자가 어떻게 움직이는지에 의존한다는 점입니다. 따라서 우리는 반사실적(counterfactual) 로봇 움직임에 따라 강체 변환(rigidly transform)될 수 있는 미터법 기반 통행 가능성 지도(metric traversability map)로 정적 장면을 표현하는 동시에, 영상에서 복원된 보행자 궤적을 시간에 따라 직접 재생합니다. 이러한 추상화를 통해 사실적인 관측치를 재구성하거나 렌더링하지 않고도 정책의 상태 공간에서 전방 동역학(forward dynamics)을 직접 정의하고 반사실적 로봇 상태를 효율적으로 시뮬레이션할 수 있습니다. 결과로 도출된 정책은 독립적인 Arena 벤치마크에서 가장 강력한 기준선(baseline)의 75.0% 대비 81.2%의 성공률을 달성했으며, 정책 미세조정(fine-tuning) 없이도 실제 로봇 대상 20회 시험 중 19회 성공을 거두었습니다. 프로젝트 페이지: https://jiaming.im/VideoSocNav

토론

이 논문과 연결된 포럼 글이 아직 없습니다.