Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset
원문 초록
As autonomous driving systems mature, motion forecasting has received increasing attention as a critical requirement for planning. Of particular importance are interactive situations such as merges, unprotected turns, etc., where predicting individual object motion is not sufficient. Joint predictions of multiple objects are required for effective route planning. There has been a critical need for high-quality motion data that is rich in both interactions and annotation to develop motion planning models. In this work, we introduce the most diverse interactive motion dataset to our knowledge, and provide specific labels for interacting objects suitable for developing joint prediction models. With over 100,000 scenes, each 20 seconds long at 10 Hz, our new dataset contains more than 570 hours of unique data over 1750 km of roadways. It was collected by mining for interesting interactions between vehicles, pedestrians, and cyclists across six cities within the United States. We use a high-accuracy 3D auto-labeling system to generate high quality 3D bounding boxes for each road agent, and provide corresponding high definition 3D maps for each scene. Furthermore, we introduce a new set of metrics that provides a comprehensive evaluation of both single agent and joint agent interaction motion forecasting models. Finally, we provide strong baseline models for individual-agent prediction and joint-prediction. We hope that this new large-scale interactive motion dataset will provide new opportunities for advancing motion forecasting models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습
Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
Shift & Drift: 일반화 가능하고 강건한 자율주행 모션 플래닝을 위한 제로샷 벤치마크
Shift & Drift: A Zero-Shot Benchmark for Generalizable and Robust Autonomous Driving Motion Planning
nuPlan과 같은 대규모 객체 수준 데이터셋으로 학습된 폐루프(closed-loop) 모션 플래너는 분포 내(in-distribution, ID) 성능이 우수하지만, 새로운 도시 토폴로지에 대한 일반화 능력과 실행 중 섭동(perturbation) 발생 후 복구 메커니즘은 충분히 탐구되지 않았다. 이를 해결하기 위해 우리는 두 가지 핵심 분포 변화 축에 걸쳐 모션 플래너를 엄밀하게 stress-test하도록 설계된 새로운 이중 트랙 벤치마크인 Shift & Drift를 제시한다. (1) Semantic Shift Track은 공중 촬영 기반의 DeepScenario Open 3D 데이터셋을 nuPlan 시뮬레이션 프레임워크로 변환하는 새로운 변환 파이프라인을 활용한다. 이를 통해 북미 및 싱가포르 데이터로 학습된 플래너를 독일 4개 도시와 미국 샌프란시스코에 걸친 1,182개 시나리오—보행자-자전거 이용자 간 밀집 상호작용이 특징적인—에 대해 제로샷(zero-shot) 평가할 수 있다. (2) State-Distribution Drift Track은 자차(ego vehicle)의 동역학에 확률적 섭동을 주입하여 누적 실행 오류에 대한 강건성을 정량화한다. 이를 기반으로 우리는 시맨틱 및 상태 분포 변화 하에서 다양한 플래닝 패러다임의 실패 양상을 체계적으로 평가한다. 모방 학습(imitation learning) 방법은 ID 벤치마크에서 높은 점수를 달성하지만, 시맨틱 변화—특히 보행자 밀집 환경—에서 심각한 실패를 나타내며, 시간적으로 상관된 액추에이션 노이즈에 노출될 경우 지속적인 드리프트(drift)를 겪는다. 이와 대조적으로, 평가된 강화학습(reinforcement learning) 기반 플래너는 두 트랙 모두에서 더 높은 안전성 및 진행 지표를 유지하며 보다 완만한 성능 저하를 보인다. 우리의 연구 결과는 모방 충실도와 폐루프 복원력 사이의 경험적 트레이드오프를 밝히며, 신뢰할 수 있는 배포를 향한 진전을 평가하기 위한 엄밀한 벤치마크를 커뮤니티에 제공한다.
IMR: 다중 에이전트 궤적 예측을 위한 반복적 모드-월드 가중 회귀
IMR: Iterative Mode-World Weighted Regression for Multi-Agent Trajectory Prediction
다중 에이전트 모션 예측은 자율주행 차량이 주변 차량의 의도를 파악하는 데 필수적이다. 그러나 기존의 예측 기반(prediction-based) 및 앵커 기반(anchor-based) 방법은 각각 모드 다양성과 예측 정확도 측면에서 한계를 지닌다. 이러한 한계는 자율주행 차량의 불충분한 안전성 평가와 행동 편차를 초래할 수 있다. 이 문제를 해결하기 위해, 두 특성 간의 간극을 좁히는 모드-월드 가중 회귀 손실이 제안된다. 구체적으로, 이 접근법은 모드 붕괴(mode collapse)를 완화하는 동시에 월드 랭킹과 Top-1 신뢰도를 향상시킨다. 또한, 제안된 반복적 디코더는 궤적을 순환적·분할적으로 생성함으로써 예측 정확도를 개선한다. 실험 결과, 제안된 방법은 Argoverse 2 다중 에이전트 모션 예측 벤치마크에서 다른 방법들 대비 1위를 기록하였다.
What's Hidden Matters: Identifying Planning-Critical Occluded Agents using Vision-Language Models
Motion Planning in Compressed Representation Spaces
Reasonable Motion: A General ASP Foundation for Environment Constrained Movement Trajectory Computation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.