Joint Interaction and Trajectory Prediction for Autonomous Driving using Graph Neural Networks
원문 초록
In this work, we aim to predict the future motion of vehicles in a traffic scene by explicitly modeling their pairwise interactions. Specifically, we propose a graph neural network that jointly predicts the discrete interaction modes and 5-second future trajectories for all agents in the scene. Our model infers an interaction graph whose nodes are agents and whose edges capture the long-term interaction intents among the agents. In order to train the model to recognize known modes of interaction, we introduce an auto-labeling function to generate ground truth interaction labels. Using a large-scale real-world driving dataset, we demonstrate that jointly predicting the trajectories along with the explicit interaction types leads to significantly lower trajectory error than baseline methods. Finally, we show through simulation studies that the learned interaction modes are semantically meaningful.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
마르코프 동역학 강제자: 학습된 동역학 다양체 상에서 실행 가능성을 보존하는 보정
Markovian Dynamics Enforcer: Feasibility Preserving Correction on Learned Dynamics Manifolds
신경망 궤적 예측 모델(neural trajectory predictor)은 특히 제어 입력이 관측되지 않고 동역학이 부분적으로만 명시된 경우, 동역학, 액추에이터 한계 또는 상태 제약 조건을 위반하면서도 낮은 예측 오차에 도달할 수 있습니다. 본 논문에서는 상태 전이 제안을 학습된 실행 가능한 동역학 다양체(manifold)로 매핑하는 시불변 사후 연산자인 MaDE(Markovian Dynamics Enforcer)를 소개합니다. 이는 실제 제어 입력(ground-truth controls) 없이 실행 가능한 상태만을 바탕으로 학습됩니다. MaDE는 각 전이에 대해 제어 입력을 추론하고, 알려진 물리 법칙과 학습된 잔차(residual)로 구성된 완결 모델(completion model)을 통해 상태를 재계산합니다. 그런 다음 그래디언트 기반 부등식 감소를 통해 해당 제어 입력을 보정하므로, 부등식 만족은 반복(iteration) 예산 내에서 최선의 노력(best-effort)으로 이루어집니다. 모든 보정 반복 단계가 완결 모델에 다시 입력되므로, 반환된 상태는 해당 모델 및 제공된 이전 상태 앵커를 기준으로 구조상 동역학적 일관성을 갖게 됩니다. MaDE는 완전히 명시된 시뮬레이션 시스템에서 동역학 잔차를 본질적으로 0에 가깝게 줄이며, 불충분하게 명시된 시스템에서는 베이스라인보다 더 작은 실제 동역학 잔차를 남깁니다. 임의의 예측 모델에 결합되도록 설계된 이 고정된(frozen) 연산자는 순환 신경망, 구조화된 상태 공간, 트랜스포머(transformer) 예측 모델의 다운스트림에서 평가되었습니다. 기록된 차량 궤적 데이터에서 기구학적 자전거 모델 대비 1단계 잔차는 MaDE 적용 시 0.0071~0.0072인 반면, 원본 예측 모델은 0.1703~0.1714였습니다. MaDE는 평균 변위 오차(ADE)를 1.57배에서 1.83배 증가시킵니다.
MapLightning: 1D 맵 토큰을 활용한 온라인 벡터화 고정밀 지도(HD Map) 구축
MapLightning: Online Vectorized HD Map Construction with 1D Map Tokens
온라인 벡터화 고정밀 지도(HD Map) 구축은 안전한 자율주행의 확장을 위해 필수적이며, 정확한 실시간 추론(inference)을 요구합니다. 기존 방식들은 주로 중간 표현으로 조감도(BEV, Bird's-Eye-View) 격자에 의존합니다. 본 논문에서는 조밀한 BEV 격자를 압축된 1D 학습형 맵 토큰 세트로 대체하는 MapLightning을 제안합니다. 이미지 특징으로부터 맵 토큰을 구성하기 위해, 일반적인 크로스 어텐션 대신 셀프 어텐션(self-attention)을 채택하여 이미지 토큰과 맵 토큰 간의 결합 상호작용 및 문맥적 집계를 가능하게 합니다. 제안하는 트랜스포머(transformer) 기반 매퍼는 맵 토큰과 이미지 토큰을 연결(concatenate)하고 전체 셀프 어텐션을 적용한 후, 이미지 토큰은 버리고 업데이트된 맵 토큰만 유지하여 디코딩에 활용합니다. 이러한 설계는 세 가지 이점을 제공합니다. 첫째, 제안하는 표현 방식은 더 적은 수의 토큰을 사용하여 메모리 소모를 줄이고 더 빠르게 동작하므로 효율적입니다. 둘째, 경량화된 설계를 통해 맵 디코더가 변형 가능한(deformable) 크로스 어텐션 대신 완전한 크로스 어텐션을 사용하여 더 우수한 전역 문맥을 활용할 수 있습니다. 셋째, BEV 기반 방식과 달리 카메라 투영 파라미터를 사용하지 않아 카메라 외란(extrinsic perturbation)에 견고합니다. MapLightning은 조밀한 BEV 기반 방식 대비 최대 16.7배 적은 중간 토큰을 사용하며, nuScenes 및 Argoverse 2 벤치마크에서 최고 수준의 정확도와 효율성을 달성합니다. 경량 버전은 nuScenes에서 +10.1 mAP, Argoverse 2에서 +16.2 mAP만큼 MapTRv2를 능가하는 동시에, 53% 적은 메모리로 1.73배 빠른 추론 속도(40+ FPS)를 제공합니다. 나아가 불확실성을 인지하는 지도 구축 및 다운스트림 경로 예측에서도 개선 효과를 입증합니다. 코드와 모델은 공개될 예정입니다.
JustDepth: 단일 스캔 LiDAR 지도를 활용한 실시간 레이더-카메라 깊이 추정
JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision
자율주행 시스템에서 레이더-카메라 인식을 위해 정확하면서도 낮은 지연의 깊이 추정이 필수적이다. 카메라는 풍부한 외관 정보를 제공하지만 메트릭 스케일이 부족한 반면, 자동차용 레이더는 메트릭 거리 정보를 제공하지만 희소하고 노이즈가 많다. 많은 파이프라인은 다단계 구조이거나 보조 어노테이션에 의존하여 지연을 증가시키고 이식성을 제한한다. 본 연구에서는 레이더, 카메라, 단일 스캔 LiDAR만으로 학습되는 단일 단계 레이더-카메라 깊이 추정기 JustDepth를 제안한다. 모든 레이더 반사값은 고정 너비 1D 표현으로 집계되어 런타임이 포인트 수와 분리된다. Height Fusion Block이 모달리티를 융합하고, 경량 GNN이 깊이를 전역적으로 전파하며, 학습 전용 신뢰도 디코더가 테스트 시 추가 비용 없이 학습을 안정화한다. 간단한 증강을 통해 줄무늬 아티팩트를 완화하고, 수직-수평 그래디언트 비율(Vertical-Horizontal Gradient Ratio, VHGR)로 이를 정량화한다. nuScenes에서 최근 최신 방법들과 비교했을 때 JustDepth는 정확도를 유지하면서 추론 시간을 39.7배 단축하고 VHGR 기준 줄무늬 아티팩트를 66% 감소시킨다.
HERMES: 신호 교차로에서의 교통 충돌 예측을 위한 이질적 엣지-관계 다중 헤드 임베디드 SSM 어텐션
HERMES: Heterogeneous Edge-Relational Multi-Head Embedded SSM Attention for Traffic Conflict Prediction at Signalized Intersections
대리 안전 지표(SSM, surrogate safety measures)는 사전적 교통 안전 평가를 가능하게 하지만, 기존 방법의 다수는 쌍방(pairwise) 상호작용을 독립적으로 평가하거나 다중 에이전트 장면을 고정된 특징 벡터로 평탄화하여, 이질적 상호작용 구조와 변화하는 장면 수준 위험을 표현하는 능력을 제한한다. 본 연구는 교통 충돌 평가를 시간적 이질적 장면 그래프(scene-graph) 분류로 공식화하고, SSM 기반 다중 헤드 어텐션을 갖춘 이질적 엣지-관계 그래프 신경망인 HERMES를 제안한다. 차량과 보행자는 이질적 노드로 표현되고, 차량-차량, 차량-보행자, 보행자-보행자 상호작용은 연속적인 운동학적 및 대리 안전 특징(descriptors)을 갖는 관계별 엣지로 인코딩된다. 관계별 어텐션, 동적 노드-엣지 업데이트, 안전 인식 그래프 풀링, 시간적 시퀀스 학습을 함께 사용하여 장면 수준 충돌 확률을 추정한다. HERMES는 신호가 있는 도시 교차로에서 궤적 기반으로 수집한 109,028개 시퀀스로 평가되었고, 독립적으로 수집한 유사 교차로 데이터셋에서 검증되었다. 강화된 HERMES는 AUC-ROC 0.9898 +/- 0.0013, AUC-PR 0.9412 +/- 0.0067, F1 점수 0.8449 +/- 0.0103을 달성했다. 5% 오경보율에서 충돌 시퀀스의 95.7%를 탐지하여, 가장 강력한 트랜스포머 기준선과 XGBoost를 능가했다. 제로샷(zero-shot) 외부 평가에서 HERMES는 AUC-ROC 0.9752, AUC-PR 0.7829를 달성했다. 공동 소스-타깃 학습은 제한된 타깃 현장 데이터에서도 타깃 현장 성능을 추가로 개선했다. 이러한 결과는 이질적 상호작용 위상, 안전 정보를 반영한 엣지 의미론, 단기 시간적 진화를 보존하는 것이 장면 수준 충돌 분류를 향상시키고 신호 교차로에서 전이 가능한 도로변 안전 모니터링을 지원함을 보여준다.
WorkDrive: 자율주행을 위한 도로 공사 인과 연쇄(Chain of Causation)
WorkDrive: Roadwork Chain of Causation for Autonomous Driving
자율주행 비전-언어 모델(VLM)은 도로 공사 구역에서 어려움을 겪는다. 차선 표시와 고정 표지판 같은 친숙한 시각적 단서가 변경되거나 사라지고, 콘과 차단막 같은 임시 장치가 주행 가능한 통로를 재정의하기 때문이다. VLM은 이러한 객체를 탐지할 수 있지만, 명시적 지도 없이는 사전학습에서 익숙한 요소에 추론을 고정하고, 공사 구역 관찰을 올바른 경로 계획 결정과 연결하지 못한다. 우리는 WorkDrive를 제안한다. 이는 공사 구역에 대한 지각 기반(grained) 인과 추론을 구성하고 궤적 예측과 정렬하는 프레임워크이다. 자동화된 다중 작업 지각 파이프라인이 구조화된 장면 사실을 추출하여 Chain-of-Causation(CoC) 어노테이션 파이프라인에 주입하고, 어노테이터의 어텐션을 도메인 특화 요소로 재지향한다. 이렇게 생성된 추론 라벨은 지도 미세조정에 사용되며, 이어서 횡방향 메타 행동과 예측 궤적 간의 일관성이라는 단일 보상을 사용한 강화학습이 수행된다. 최대 규모의 공개 공사 구역 데이터셋인 ROADWork에서, 제안된 도로 공사 CoC는 궤적 평균 변위 오류(ADE)를 9.0% 감소시키고, 일관성 기반 GRPO는 추가로 3.0% 개선하여 궤적 전용 기준선 대비 점진적 향상을 달성한다. 코드와 데이터는 공개될 예정이다.
DSTIGCN: Deformable Spatial-Temporal Interaction Graph Convolution Network for Pedestrian Trajectory Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.