정책 상태 공간에서 인터넷 영상을 통한 사회적 내비게이션 학습
Learning Social Navigation from Internet Videos in the Policy State Space
한국어 초록
강건한 사회적 내비게이션(social navigation) 정책을 학습(training)시키려면 다양한 장면 배치, 지형, 인간의 움직임을 갖춘 시뮬레이터가 필요하지만, 이러한 환경을 구축하고 보행자 행동을 지정하는 데는 많은 비용이 듭니다. 본 논문에서는 일반적인 단안 보행 영상을 정책의 상태 공간 내 폐루프(closed-loop) 사회적 내비게이션 학습 환경으로 직접 변환하는 효율적인 파이프라인을 제안합니다. 우리의 핵심 관찰은 로컬 사회적 내비게이션이 주로 두 가지 유형의 정보, 즉 로봇이 어디로 주행할 수 있는지와 주변 보행자가 어떻게 움직이는지에 의존한다는 점입니다. 따라서 우리는 반사실적(counterfactual) 로봇 움직임에 따라 강체 변환(rigidly transform)될 수 있는 미터법 기반 통행 가능성 지도(metric traversability map)로 정적 장면을 표현하는 동시에, 영상에서 복원된 보행자 궤적을 시간에 따라 직접 재생합니다. 이러한 추상화를 통해 사실적인 관측치를 재구성하거나 렌더링하지 않고도 정책의 상태 공간에서 전방 동역학(forward dynamics)을 직접 정의하고 반사실적 로봇 상태를 효율적으로 시뮬레이션할 수 있습니다. 결과로 도출된 정책은 독립적인 Arena 벤치마크에서 가장 강력한 기준선(baseline)의 75.0% 대비 81.2%의 성공률을 달성했으며, 정책 미세조정(fine-tuning) 없이도 실제 로봇 대상 20회 시험 중 19회 성공을 거두었습니다. 프로젝트 페이지: https://jiaming.im/VideoSocNav
원문 초록
Training robust social-navigation policies requires simulators with diverse scene layouts, terrain, and human motion, but constructing such environments and specifying pedestrian behavior is costly. We propose an efficient pipeline that converts ordinary monocular walking videos directly into closed-loop social-navigation training environments in the policy's state space. Our key observation is that local social navigation primarily depends on two types of information: where the robot can traverse and how nearby pedestrians move. We therefore represent the static scene as a metric traversability map, which can be rigidly transformed under counterfactual robot motion, while directly replaying the pedestrian trajectories recovered from the video over time. This abstraction allows us to define the forward dynamics directly in the policy's state space and efficiently simulate counterfactual robot states without reconstructing or rendering photorealistic observations. The resulting policy achieves 81.2% success in the independent Arena benchmark, compared with 75.0% for the strongest baseline, and succeeds in 19/20 real-robot trials without policy fine-tuning. Project page: https://jiaming.im/VideoSocNav
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AdaptManip: 온라인 순환 상태 추정을 통한 적응형 전신 물체 들어올리기 및 운반 학습
AdaptManip: Learning Adaptive Whole-Body Object Lifting and Delivery with Online Recurrent State Estimation
본 논문에서는 휴머노이드 로봇이 통합된 내비게이션, 물체 들어올리기 및 운반을 수행할 수 있도록 하는 완전 자율 프레임워크인 적응형 전신 이동-조작(Loco-Manipulation), AdaptManip을 제시합니다. 인간의 시연(demonstration)에 의존하여 외란에 취약한 경우가 많은 기존의 모방 학습(imitation learning) 기반 접근 방식과 달리, AdaptManip은 인간의 시연이나 원격 조작 데이터 없이 강화학습(reinforcement learning)을 통해 강인한 이동-조작 정책을 훈련하는 것을 목표로 합니다. 제안된 프레임워크는 서로 결합된 세 가지 구성 요소로 이루어져 있습니다: (1) 제한된 시야와 가림 현상 속에서도 조작 대상 물체를 실시간으로 추적하는 순환 물체 상태 추정기, (2) 안정적인 물체 들어올리기 및 운반을 위한 잔차 조작 제어가 포함된 강인한 보행용 전신 기본 정책, (3) 드리프트에 강인한 위치 추정을 제공하는 LiDAR 기반 로봇 전역 위치 추정기. 모든 구성 요소는 시뮬레이션 환경에서 강화학습을 통해 학습되며, 실제 하드웨어에 제로샷(zero-shot) 방식으로 배포됩니다. 실험 결과에 따르면 AdaptManip은 시각적 관측이 간헐적인 상황에서도 학습된 추정기가 물체를 계속 추적하는 동시에 적응성과 전반적인 성공률 측면에서 모방 학습 기반 접근법을 포함한 기준선(baseline) 방법들을 크게 능가함을 보여줍니다. 또한 휴머노이드 로봇에서 완전 자율적인 실세계 내비게이션, 물체 들어올리기 및 운반 작업을 시연합니다.
TANGO: 전신 비전-언어-행동 모델을 활용한 복잡한 환경에서의 휴머노이드 내비게이션
TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model
본 연구에서는 휴머노이드 로봇을 이용해 복잡하고 어수선한 실내 환경을 탐색 및 이동(navigation)하는 문제를 다룹니다. 내비게이션을 2D 경로 계획 문제로 모델링하는 기존 방식과 달리, 복잡한 환경에서 휴머노이드가 이동하려면 복잡한 3D 공간을 충돌 없이 통과하기 위해 조율된 팔 배치, 몸통 조절, 보행 조절을 포함하는 연속적이고 기하 구조를 인식하는 전신 적응(whole-body adaptation)이 필요합니다. 이에 본 논문에서는 복잡한 환경에서 언어 조건 기반 휴머노이드 이동을 위한 최초의 전신 비전-언어 내비게이션(Vision-Language Navigation) 프레임워크인 TANGO를 제안합니다. 자연어 지시와 1인칭 시점(egocentric) RGB 관측값이 주어지면, TANGO는 다운스트림 전신 제어를 위한 29-자유도(DoF) 관절 공간 행동을 직접 예측합니다. 전역 경로 계획, 기구학적 전신 동작 생성, 장애물 인식 동작 편집, 강화학습(RL) 기반 트래킹을 통해 충돌 없는 다양한 이동 동작을 합성함으로써 TANGO를 전적으로 시뮬레이션 환경에서 학습(training)합니다. 이러한 파이프라인은 언어 조건부 전신 정책 학습을 위한 동역학적으로 실현 가능한 행동 감독(supervision)을 제공합니다. 광범위한 시뮬레이션 실험에서 TANGO는 비전-언어 내비게이션 분야에서 최첨단 성능을 입증하는 동시에, 장애물 통과가 필요한 까다로운 장면을 탐색할 때 강력한 모듈식 베이스라인들을 능가했습니다. 마지막으로, Unitree G1 휴머노이드 로봇에 TANGO를 제로샷(zero-shot)으로 배포한 결과, 실제 세계 내비게이션 데이터에 대한 학습 없이도 복잡한 실제 환경에서 견고한 언어 유도 이동이 가능함을 확인했습니다.
ACME: 다문화, 다중 체형 사회적 내비게이션 데이터셋
ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset
공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.
STRUCTSENSE: A Task-Agnostic Agentic Framework for Structured Information Extraction with Human-In-The-Loop Evaluation and Benchmarking
AI Research Agents for Machine Learning: Search, Exploration, and Generalization in MLE-bench
Decide less, communicate more: On the construct validity of end-to-end fact-checking in medicine
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 5 figures, 6 tables