Navigating to Objects in Unseen Environments by Distance Prediction
원문 초록
Object Goal Navigation (ObjectNav) task is to navigate an agent to an object category in unseen environments without a pre-built map. In this paper, we solve this task by predicting the distance to the target using semantically-related objects as cues. Based on the estimated distance to the target object, our method directly choose optimal mid-term goals that are more likely to have a shorter path to the target. Specifically, based on the learned knowledge, our model takes a bird's-eye view semantic map as input, and estimates the path length from the frontier map cells to the target object. With the estimated distance map, the agent could simultaneously explore the environment and navigate to the target objects based on a simple human-designed strategy. Empirical results in visually realistic simulation environments show that the proposed method outperforms a wide range of baselines on success rate and efficiency. Real-robot experiment also demonstrates that our method generalizes well to the real world. Video at https://www.youtube.com/watch?v=R79pWVGFKS4
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
충돌 인식 분리 매개변수 학습을 통한 통합 예측 및 계획
Unified Prediction and Planning via Conflict-Aware Disjoint Parameter Training
주변 에이전트(agent)의 정확한 동작 예측과 안전한 동작 계획은 혼잡한 환경에서의 사회적 로봇 내비게이션(social robot navigation)을 위한 밀접하게 결합된 두 가지 핵심 과제이다. 이러한 시스템을 자원이 제한된 엣지(edge) 디바이스에 배포하려면 두 과제를 동시에 수행할 수 있는 컴팩트한 통합 모델이 필요하다. 그러나 이러한 컴팩트한 공유 인코더(shared encoder) 내에서, 최근의 통합 모델들은 이웃 행동 예측과 자차 중심(ego-centric) 안전 계획이라는 상이한 목표에서 발생하는 심각한 표현 충돌(representational conflict)을 종종 간과한다. 이 문제를 해결하기 위해, 우리는 먼저 Skill Conflict(스킬 충돌)—겹치는 매개변수 할당이 서로 다른 과제가 동일한 가중치를 두고 경쟁하게 하여 모델이 개별 스킬에 완전히 특화되지 못하게 하는 현상—을 규명한다. 이를 해결하기 위해, 우리는 새로운 모델 병합(model-merging) 기반 프레임워크인 Disjoint Parameter Training(DPT)을 제안한다. DPT는 병합 전 각 과제의 핵심 역량을 보존하면서 핵심 매개변수 영역을 분리하는 분산 매개변수 학습(distributed parameter learning)을 통해 Skill Conflict로 인한 성능 저하를 완화한다. 또한, 모든 과제별 매개변수를 결합하는 대신 각 과제에 가장 영향력 있는 매개변수만 선택적으로 통합하는 sparse merging(희소 병합)이 인접 특징(feature) 간 간섭을 방지하고 표현 용량을 집중시켜 최적의 성능을 달성함을 관찰한다. DPT는 다양한 병합 방법과 병렬로 적용할 수 있다. 표준 군중 내비게이션 벤치마크(JRDB 및 JTA)에서 평가한 결과, 우리 프레임워크는 우수한 성능을 보여 안전하고 자원 효율적인 로봇 내비게이션을 위한 다목적성과 효과를 입증한다.
ACME: 다문화, 다중 체형 사회적 내비게이션 데이터셋
ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset
공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.
SafeStep: 노쇠 또는 치매를 앓은 고령자를 위한 AI 기반 이동 보조
SafeStep: AI-powered Travel Assistance for Elderly People with Frailty or Dementia
영국에서 100만 명 이상이 노쇠 또는 치매를 겪고 있으며, 이는 도시 환경에서의 이동 능력을 심각하게 저해한다. 본 논문은 고령 사용자의 여정을 보조하는 AI 기반 이동 시스템인 SafeStep을 제안한다. SafeStep의 핵심은 경로 계획과 예측 모델링을 통합한 새로운 이동 그래프 표현이다. 각 여정 단계마다 시스템은 (i) 대규모 언어 모델(LLM)과 Anticip8 행동 예측 엔진을 결합하여 개인화된 실패 시나리오를 생성하고, (ii) 표적 개입을 제안하며, (iii) 개입이 결과 확률에 미치는 영향을 추정한다. 이를 통해 SafeStep은 목적지에 도달할 가능도를 최대화하는 개입을 선택할 수 있다. SafeStep은 이동 그래프 생성 실험과 26건의 실제 여정을 포함한 현장 연구를 통해 평가되었다. 결과는 실패 예측에는 Anticip8을, 개입 평가에는 GPT 기반 모델을 결합할 때 가장 신뢰할 수 있는 성능을 보였음을 나타냈다. 사용자 피드백에 따르면 SafeStep은 이동 중 자신감과 체감 안전성을 향상시켰으나, 대상 인구층을 위해 인터페이스 사용성을 개선할 필요가 있다. 향후 SafeStep을 개선하고 공개할 계획이다. SafeStep을 위해 개발된 AI 시스템은 정신 건강, 진로 코칭, 중독 치료 등 다른 분야에도 적용될 수 있다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
EgoHTR: 자아시점 4D 인간 지형 통과 시연
EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal
비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.
정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선
Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping
비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.