arXiv:2212.00767

Exploiting Proximity-Aware Tasks for Embodied Social Navigation

Enrico Cancelli, Tommaso Campari, Luciano Serafini, Angel X. Chang, Lamberto Ballan

제출 2022-12-01

원문 초록

Learning how to navigate among humans in an occluded and spatially constrained indoor environment, is a key ability required to embodied agent to be integrated into our society. In this paper, we propose an end-to-end architecture that exploits Proximity-Aware Tasks (referred as to Risk and Proximity Compass) to inject into a reinforcement learning navigation policy the ability to infer common-sense social behaviors. To this end, our tasks exploit the notion of immediate and future dangers of collision. Furthermore, we propose an evaluation protocol specifically designed for the Social Navigation Task in simulated environments. This is done to capture fine-grained features and characteristics of the policy by analyzing the minimal unit of human-robot spatial interaction, called Encounter. We validate our approach on Gibson4+ and Habitat-Matterport3D datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.37476v2cs.RO공통 태그 Navigate, Social Navigation

정책 상태 공간에서 인터넷 영상을 통한 사회적 내비게이션 학습

Learning Social Navigation from Internet Videos in the Policy State Space

강건한 사회적 내비게이션(social navigation) 정책을 학습(training)시키려면 다양한 장면 배치, 지형, 인간의 움직임을 갖춘 시뮬레이터가 필요하지만, 이러한 환경을 구축하고 보행자 행동을 지정하는 데는 많은 비용이 듭니다. 본 논문에서는 일반적인 단안 보행 영상을 정책의 상태 공간 내 폐루프(closed-loop) 사회적 내비게이션 학습 환경으로 직접 변환하는 효율적인 파이프라인을 제안합니다. 우리의 핵심 관찰은 로컬 사회적 내비게이션이 주로 두 가지 유형의 정보, 즉 로봇이 어디로 주행할 수 있는지와 주변 보행자가 어떻게 움직이는지에 의존한다는 점입니다. 따라서 우리는 반사실적(counterfactual) 로봇 움직임에 따라 강체 변환(rigidly transform)될 수 있는 미터법 기반 통행 가능성 지도(metric traversability map)로 정적 장면을 표현하는 동시에, 영상에서 복원된 보행자 궤적을 시간에 따라 직접 재생합니다. 이러한 추상화를 통해 사실적인 관측치를 재구성하거나 렌더링하지 않고도 정책의 상태 공간에서 전방 동역학(forward dynamics)을 직접 정의하고 반사실적 로봇 상태를 효율적으로 시뮬레이션할 수 있습니다. 결과로 도출된 정책은 독립적인 Arena 벤치마크에서 가장 강력한 기준선(baseline)의 75.0% 대비 81.2%의 성공률을 달성했으며, 정책 미세조정(fine-tuning) 없이도 실제 로봇 대상 20회 시험 중 19회 성공을 거두었습니다. 프로젝트 페이지: https://jiaming.im/VideoSocNav

arXiv:2607.21964v1cs.RO공통 태그 Navigate, Social Navigation

ACME: 다문화, 다중 체형 사회적 내비게이션 데이터셋

ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset

공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.

arXiv:2505.19212v2cs.CL공통 태그 Navigate공식 코드 · Papers with Code

윤리와 보상이 갈라질 때: 도덕적으로 민감한 사회적 딜레마에서의 LLM 에이전트

When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas

최근 LLM의 발전으로 인간이나 다른 에이전트와의 의사결정을 포함하는 복잡한 에이전트 역할에 LLM을 활용할 수 있게 되면서, 윤리적 정렬(alignment)이 중요한 관심사가 되었다. 기존 연구는 LLM의 도덕적 판단과 전략적 행동을 각각 따로 다루어 왔지만, 도덕적 명령이 이익 추구와 직접 충돌할 때 LLM이 어떻게 행동하는지에 대한 이해는 제한적이다. 우리는 \msimfull (\msim)을 도입하여, 9개 모델에 걸쳐 도덕적 프레이밍, 상대 행동, 생존 압력을 변화시키며 도덕적으로 민감한 맥락에 내재된 죄수의 딜레마(prisoner's dilemma)와 공공재 게임(public goods game)에서 LLM이 어떻게 행동하는지 평가한다. 행동 측정을 넘어, 평균 처리 효과(ATE)를 통해 각 요인의 인과 효과를 추정하고, 에이전트 자체의 추론 trace를 분석하여 선택 뒤에 있는 동기를 특성화한다. 어떤 모델도 일관되게 도덕적이지 않으며, 협력률은 7.9\%에서 76.3\%까지 분포한다는 것을 발견했다. 게임 구조와 도덕적 프레이밍이 도덕적 행동의 가장 강한 인과적 동인이며, 추론 trace 분석은 모델마다 뚜렷한 동기 프로필을 드러낸다. 이는 주로 보상 최대화(payoff-maximizing)부터 도덕적·평판 지향적 성향까지 다양하다. 이 결과들은 현재 LLM의 도덕적 행동이 상황에 따라 쉽게 흔들린다는 점과, 이익 추구가 윤리적 지침과 충돌하는 환경에 LLM을 배치할 때의 위험을 드러낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.