arXiv:2006.12906

Probabilistic Crowd GAN: Multimodal Pedestrian Trajectory Prediction using a Graph Vehicle-Pedestrian Attention Network

Stuart Eiffert, Kunming Li, Mao Shan, Stewart Worrall, Salah Sukkarieh, Eduardo Nebot

제출 2020-06-23

원문 초록

Understanding and predicting the intention of pedestrians is essential to enable autonomous vehicles and mobile robots to navigate crowds. This problem becomes increasingly complex when we consider the uncertainty and multimodality of pedestrian motion, as well as the implicit interactions between members of a crowd, including any response to a vehicle. Our approach, Probabilistic Crowd GAN, extends recent work in trajectory prediction, combining Recurrent Neural Networks (RNNs) with Mixture Density Networks (MDNs) to output probabilistic multimodal predictions, from which likely modal paths are found and used for adversarial training. We also propose the use of Graph Vehicle-Pedestrian Attention Network (GVAT), which models social interactions and allows input of a shared vehicle feature, showing that inclusion of this module leads to improved trajectory prediction both with and without the presence of a vehicle. Through evaluation on various datasets, we demonstrate improvements on the existing state of the art methods for trajectory prediction and illustrate how the true multimodal and uncertain nature of crowd interactions can be directly modelled.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23673v1cs.CV공통 태그 Navigate, Autonomous Vehicles

어떤 지형이 더 나은가? 비포장도로 주행 가능성 순위 지정을 위한 VLM 프로토타입 기반 선호도 학습

Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking

비전 기반 비포장도로 내비게이션에서 로봇은 회피해야 할 장애물뿐만 아니라 어떤 지형이 더 나은지도 파악해야 합니다. 첫 번째 문제는 여유 공간(freespace) 감지나 시맨틱 분할(semantic segmentation)로 처리됩니다. 두 번째 문제는 대개 주행 가능성 점수(traversability score)로 해결되지만, 이러한 점수에는 보편적인 정답(ground truth)이 존재하지 않아 인식이 시맨틱 클래스별로 미리 정의된 값이나 여유 공간 신뢰도에 의존하게 됩니다. 이러한 점수들은 특정 영역이 무엇인지를 나타낼 뿐, 로봇이 어떤 영역을 선호해야 하는지는 알려주지 못합니다. 이에 따라 본 연구에서는 이러한 선호도를 두 영역 간의 비교를 통해 지도(supervision)될 수 있는 가시적 지형 순서 지정인 시각적 주행 가능성 순위 지정(visual traversability ranking)으로 정식화합니다. 표준 어노테이션에는 선호도가 직접 라벨링되어 있지 않지만, 그 방향성이 내포되어 있습니다. 본 논문에서는 이러한 어노테이션을 정렬된 영역 쌍으로 변환하고, 동결된(frozen) 비전-언어 모델(VLM) 패치 토큰(token)에 작은 판독부(readout)를 이 쌍에 맞춰 적합시키는 TravPro를 제안합니다. 토큰은 고정된 프로토타입 뱅크로 한 번 클러스터링되며, 판독부는 프로토타입별 선호도 점수를 학습합니다. 그런 다음 판독부는 모든 패치에 적용되어 픽셀 단위 어노테이션 없이도 희소한 비교를 조밀한 선호도 유사 라벨(pseudo-label)로 변환하는 교사(teacher) 역할을 수행합니다. RGB 학생(student) 모델은 장애물과 배경을 순위 지정에서 제외하는 비지면(non-ground) 마스크와 함께 이 지도들을 조밀한 지형 선호도 맵으로 증류(distill)합니다. 5개의 미확인(unseen) 도메인에서 TravPro는 가장 강력한 기준선(baseline)의 0.783 대비 0.915의 평균 쌍별 정확도(mean pairwise accuracy)를 달성하여, 클래스별 수치로는 표현할 수 없는 노면 상태에 민감한 순서 지정을 생성합니다. 동일한 VLM과 동일한 지도 방식을 사용하더라도 VLM에 프롬프트(prompt)를 주고 지도를 조밀한 타깃으로 사용할 경우에는 이러한 순서가 도출되지 않으며, 중요한 것은 이들을 활용하는 방식입니다.

arXiv:2607.19971v2cs.RO공통 태그 Navigate, Prediction

충돌 인식 분리 매개변수 학습을 통한 통합 예측 및 계획

Unified Prediction and Planning via Conflict-Aware Disjoint Parameter Training

주변 에이전트(agent)의 정확한 동작 예측과 안전한 동작 계획은 혼잡한 환경에서의 사회적 로봇 내비게이션(social robot navigation)을 위한 밀접하게 결합된 두 가지 핵심 과제이다. 이러한 시스템을 자원이 제한된 엣지(edge) 디바이스에 배포하려면 두 과제를 동시에 수행할 수 있는 컴팩트한 통합 모델이 필요하다. 그러나 이러한 컴팩트한 공유 인코더(shared encoder) 내에서, 최근의 통합 모델들은 이웃 행동 예측과 자차 중심(ego-centric) 안전 계획이라는 상이한 목표에서 발생하는 심각한 표현 충돌(representational conflict)을 종종 간과한다. 이 문제를 해결하기 위해, 우리는 먼저 Skill Conflict(스킬 충돌)—겹치는 매개변수 할당이 서로 다른 과제가 동일한 가중치를 두고 경쟁하게 하여 모델이 개별 스킬에 완전히 특화되지 못하게 하는 현상—을 규명한다. 이를 해결하기 위해, 우리는 새로운 모델 병합(model-merging) 기반 프레임워크인 Disjoint Parameter Training(DPT)을 제안한다. DPT는 병합 전 각 과제의 핵심 역량을 보존하면서 핵심 매개변수 영역을 분리하는 분산 매개변수 학습(distributed parameter learning)을 통해 Skill Conflict로 인한 성능 저하를 완화한다. 또한, 모든 과제별 매개변수를 결합하는 대신 각 과제에 가장 영향력 있는 매개변수만 선택적으로 통합하는 sparse merging(희소 병합)이 인접 특징(feature) 간 간섭을 방지하고 표현 용량을 집중시켜 최적의 성능을 달성함을 관찰한다. DPT는 다양한 병합 방법과 병렬로 적용할 수 있다. 표준 군중 내비게이션 벤치마크(JRDB 및 JTA)에서 평가한 결과, 우리 프레임워크는 우수한 성능을 보여 안전하고 자원 효율적인 로봇 내비게이션을 위한 다목적성과 효과를 입증한다.

arXiv:2607.24336v1cs.AI공통 태그 Navigate, Autonomous Vehicles

불평등한 여행, 불평등한 장소: 자율주행 차량 플릿 조율에서 지연 불평등의 진단과 완화

Unequal Trips, Unequal Places: Diagnosing and Mitigating Delay Inequity in Autonomous Vehicle Fleet Coordination

도시 규모 자율주행 차량 플릿 코디네이터는 통상 총 여행 시간을 최적화하도록 설계되지만, 플릿 평균은 지연이 여행과 지역에 걸쳐 어떻게 분포되는지를 가린다. 우리는 맨하튼, 시카고, 샌프란시스코의 세 실제 도시 도로망 및 택시 수요 데이터셋에 대해 분포 감사를 수행한다. 이 감사는 도시와 코디네이터에 따라 방향이 달라지는 만연한 여행 길이 불평등을 드러낸다. 여행 길이를 통제한 뒤에는 공간적 불평등이 수요 증가에 따라 더 두드러지며, 여행을 목적지가 아닌 출발지 기준으로 묶을 때 일관되게 더 강해진다. 이러한 결과는 지연된 차량에 제한된 재계획 용량을 할당하고 최근 관측된 대기 압력을 이용해 이들을 우회하는 예산 제약 온라인 조율 프레임워크인 SPatially Aware RErouting(SPARE)을 제안하게 한다. SPARE는 재검토(per-review)마다 의사결정 보장을 제공하며 온라인 경로 갱신을 명시적으로 상한으로 제한한다. 세 데이터셋 모두에서 여섯 개의 대표 베이스라인과 비교한 실험에서 SPARE는 도시 규모 확장성을 유지하면서 효율-공정성 결합 성능이 가장 우수하다. 결과는 상한이 있는 혼잡 반응형 우회가 전체 플릿 재계획 없이도 성능과 형평성을 개선함을 보여준다.

arXiv:2607.21964v1cs.RO공통 태그 Navigate, Prediction

ACME: 다문화, 다중 체형 사회적 내비게이션 데이터셋

ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset

공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.