arXiv:2303.12274

A Hierarchical Hybrid Learning Framework for Multi-agent Trajectory Prediction

Yujun Jiao, Mingze Miao, Zhishuai Yin, Chunyuan Lei, Xu Zhu, Linzhen Nie, Bo Tao

제출 2023-03-22

원문 초록

Accurate and robust trajectory prediction of neighboring agents is critical for autonomous vehicles traversing in complex scenes. Most methods proposed in recent years are deep learning-based due to their strength in encoding complex interactions. However, unplausible predictions are often generated since they rely heavily on past observations and cannot effectively capture the transient and contingency interactions from sparse samples. In this paper, we propose a hierarchical hybrid framework of deep learning (DL) and reinforcement learning (RL) for multi-agent trajectory prediction, to cope with the challenge of predicting motions shaped by multi-scale interactions. In the DL stage, the traffic scene is divided into multiple intermediate-scale heterogenous graphs based on which Transformer-style GNNs are adopted to encode heterogenous interactions at intermediate and global levels. In the RL stage, we divide the traffic scene into local sub-scenes utilizing the key future points predicted in the DL stage. To emulate the motion planning procedure so as to produce trajectory predictions, a Transformer-based Proximal Policy Optimization (PPO) incorporated with a vehicle kinematics model is devised to plan motions under the dominant influence of microscopic interactions. A multi-objective reward is designed to balance between agent-centric accuracy and scene-wise compatibility. Experimental results show that our proposal matches the state-of-the-arts on the Argoverse forecasting benchmark. It's also revealed by the visualized results that the hierarchical learning framework captures the multi-scale interactions and improves the feasibility and compliance of the predicted trajectories.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2508.19186v2cs.RO공통 태그 Autonomous Vehicles, Motion Planning

폐루프 로봇 반응형 계획을 위한 실시간 모델 체킹

Real-Time Model Checking for Closed-Loop Robot Reactive Planning

반응형 장애물 회피 방법은 종종 한 단계 앞만(즉, 현재 상태에 기반한 다음 행동만) 추론할 수 있기 때문에 에이전트가 국소 최솟값(local minima)에 갇히게 한다. 본 논문에서는 자율 로봇에서 반응형 다단계 계획과 장애물 회피를 달성하기 위해 모델 체킹을 사용한다. 우리의 소규모 맞춤형 모델 체킹 알고리즘은 생물학적 에이전트에서 발견되는 '핵심(core)' 지식과 어텐션에 기반하여 로봇 코드 내 현장(in situ)에서 계획을 생성한다. 이는 사전 계산된 데이터 없이 저전력 장치에서 실시간으로 달성된다. 우리의 접근법은 자율 에이전트가 선호하는 행동(또는 안정 상태)을 방해하는 국소 환경의 교란에 대응하기 위해 생성되는 임시 제어 시스템들을 연쇄적으로 연결하는 것에 기반한다. 우리는 즉각적 환경의 임시 스냅샷에 의존하고 상태 수를 제한함으로써 상태 공간 폭발(state-space explosion)을 완화한다. 깊이 우선 탐색(depth-first search)과 부정된 LTL(Linear Temporal Logic) 경로 속성에 의해 생성된 반례(counter-examples)를 사용한 다단계 계획은 막다른 골목(cul-de-sac)과 독립형 장애물 시나리오에 적용된다. 실험 결과와 두 가지 기본 속성에 대한 비공식 증명은 국소 장애물 회피를 위한 효율적인 다단계 계획 생성에서 우리 접근법의 효과를 보여준다. 우리는 한 단계 앞만 계획할 수 있는 순수 반응형 에이전트와 비교하여 성능을 크게 개선한다. 우리의 접근법은 자율 주행 차량 맥락에서 안전하고 신뢰할 수 있는 내비게이션 개발을 위한 교육적 사례 연구이다. 또한 임무에 중요한(mission-critical) 이동 로봇의 내비게이션에도 일반적으로 적용될 수 있다고 우리는 믿는다.

arXiv:2607.09740v1cs.AI공통 태그 Autonomous Vehicles, Trajectory Prediction

다중 상호작용 차량의 장면 수준 차선 변경 의도 및 궤적 예측을 위한 동적 장면 상호작용 추론 프레임워크

A Dynamic Scene Interaction Reasoning Framework for Scene-level Lane-Change Intention and Trajectory Prediction of Multiple Interacting Vehicles

첨단 운전자 보조 시스템과 자율주행 차량의 안전한 모션 플래닝은 주변 교통 장면이 어떻게 변화할지에 대한 정확한 이해를 필요로 한다. 그러나 기존의 많은 차선 변경 예측 방법은 단일 대상 차량에 중점을 두고 있으며, 다중 에이전트 예측 접근법은 흔히 미래 위치만으로 장면 변화를 기술하고 각 차량과 관련된 조작 기동에 대한 명시적 정보를 제한적으로 제공한다. 본 연구는 국지적 교통 장면 내 모든 관련 차량의 차선 변경 의도 및 미래 궤적을 예측하는 동적 장면 그래프 어텐션 프레임워크를 제안한다. 장면은 시변(time-varying) 상호작용 그래프로 표현되며, 차량은 노드로 모델링되고 공간적·운동학적 관계는 명시적 엣지 특징을 통해 인코딩된다. 시간적 그래프 어텐션 메시지 패싱은 변화하는 차량 간 의존성과 기동 전 단서를 포착하며, 의도 기반 디코더는 예측된 각 기동을 해당 미래 모션에 연결한다. 장면 수준 일관성 목적함수는 다중 차량의 호환 가능한 미래 상태를 추가로 장려한다. NGSIM I-80, NGSIM US-101, highD 데이터셋에 대한 실험은 경쟁 기준선 대비 일관된 성능 향상을 보인다. DSiGAT는 NGSIM I-80 및 US-101에서 각각 90.12% 및 90.97%의 의도 예측 정확도를 달성하고, 가장 강력한 기준선 대비 궤적 RMSE를 최대 52.94%까지 감소시킨다. 또한 에이전트 간 충돌률 및 결합 변위 오류가 낮아 보다 일관된 장면 수준 예측을 나타낸다. 제거 연구(ablation), 민감도, 강건성 및 정성적 분석은 제안된 구성요소의 기여도와 장면 중심 공식화의 효과성을 추가로 검증한다.

arXiv:2607.09741v1cs.RO공통 태그 Autonomous Vehicles, Trajectory Prediction

SWIFT: 자율주행 흐름 인식 궤적 예측을 위한 소세계 상호작용 프레임워크

SWIFT: A Small-World Interaction Framework for Flow-Aware Trajectory Prediction in Autonomous Driving

자율주행에서 정확한 궤적 예측은 교통 에이전트 간의 동적이고 맥락 의존적인 상호작용을 모델링하는 데 달려 있다. 그러나 기존 접근법의 대부분은 순수하게 데이터 기반이며 구조적 사전 지식이 부재하여, 분포 변화 상황에서의 일반화 능력이 제한된다. 본 연구에서는 교통 네트워크의 구조와 역학을 통해 상호작용 모델링을 재검토하고, 소세계 네트워크와 교통 흐름 이론을 통합하는 통합 프레임워크인 SWIFT(Small-World Interaction Framework for Trajectory prediction)를 제안한다. SWIFT는 지역적 및 전역적 의존성을 모두 포착하는 소세계 상호작용 네트워크와, 장면 수준의 교통 상태에 따라 상호작용 구조를 적응시키는 흐름 체계 인코더(Flow Regime Encoder)를 통해 구조적 귀납 편향을 도입한다. 상호작용 추론은 직접적 및 고차 에이전트 관계를 명시적으로 인코딩하는 다중 관계 그래프 모듈을 통해 더욱 강화된다. nuScenes, MoCAD, NGSIM 세 가지 실세계 데이터셋에 대한 광범위한 실험 결과, SWIFT는 다양한 교통 체계에 걸쳐 예측 정확도 면에서 강력한 기준 모델들을 일관되게 능가함을 보여준다. 정확도를 넘어, SWIFT는 미관측 위치 및 체계에 대한 향상된 일반화 능력, 잡음이 포함된 관측 하에서의 강건성, 그리고 제한된 학습 데이터에서도 우수한 성능을 나타내며, 구조 인식 설계의 효과성을 뒷받침한다.

arXiv:2607.08316v1cs.AI공통 태그 Autonomous Vehicles, Trajectory Prediction

INTENT: 교차로 시나리오에서 차량 의도 예측을 위한 LSTM 프레임워크 및 포괄적 절제 분석

INTENT: An LSTM Framework for Vehicle Intention Prediction in Intersection Scenarios with Comprehensive Ablation Analysis

차량 의도 예측은 모든 주행 시나리오에서 자율주행 차량의 민첩성과 안전성에 있어 핵심적인 요소이다. 자율주행 차량의 실질적인 향상을 위해서는 교차로, 회전교차로, 급정거와 같은 긴급 상황처럼 높은 수준의 인간 상호작용과 복잡한 주행 행동이 요구되는 상황에서 인간이 운전자의 의도를 해석하는 방식을 차량이 채택하도록 해야 한다. 이러한 상황에서 차량 의도 예측은 매 순간의 행동이 영향을 미치는 실시간 상황 내에서 적절한 회피 행동을 취하는 데 도움을 주어 재앙을 예방할 수 있다. 최악의 경우에도 피해를 최소화하고 안전을 최우선으로 할 수 있다. 또한 의도 예측은 궤적 예측(의도 조건부 궤적 예측)을 향상시키는 데에도 활용될 수 있다. 본 연구에서는 LSTM 모델을 활용한 INTENT 프레임워크를 제안하며, 교차로에서 사건 발생 2초 전에 차량이 직진, 좌회전, 우회전 중 어떤 행동을 할지 차량 의도를 예측한다. 다양한 모델 실험과 절제 연구(ablation study)를 InD 데이터셋에서 철저히 검증하여 99.71%의 정확도를 달성하였다.

arXiv:2607.08375v1cs.CV공통 태그 Autonomous Vehicles, Trajectory Prediction

WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델

WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving

비전-언어-액션(VLA) 모델은 엔드-투-엔드 자율주행을 발전시켜 왔다. 그러나 기존 방법들은 포괄적인 세계 인지(world cognition)가 부족하거나 단편적인 세계 예측(world foresight)으로 인해 어려움을 겪으며, 이로 인해 이러한 모델들은 본질적으로 반응적 주행에 국한된다. 이러한 한계를 해결하기 위해, 우리는 WCog-VLA를 제안한다. 이는 의미론적 세계 예측과 생성적 세계 진화를 성공적으로 연결하여 능동적 자율주행을 달성하는 새로운 이중 수준 세계-인지 VLA 프레임워크이다. 의미론적 수준에서, WCog-VLA는 3D 공간 인지를 통합하고 에이전트 토큰을 주입하여 세계 역학을 포착함으로써 세계 인지와 추론을 통합하며, 동시에 게임 이론적 사고의 연쇄(Game-theoretic Chain-of-Thought, Game-CoT) 추론을 가능하게 한다. 생성적 수준에서는, 물리적으로 타당한 다중 에이전트 합동 궤적을 합성하는 강력한 생성 세계 모델로서 정렬된 분리 확산 트랜스포머(Aligned Decoupled Diffusion Transformer, ADDT)를 도입한다. 장면 표현 정렬(scene representation alignment)을 통해 ADDT는 필요한 노이즈 제거 단계 수를 줄여 추론을 크게 가속화한다. 전략적 추론을 촉진하기 위해, 85k개의 Game-CoT 어노테이션을 포함하는 대규모 데이터셋을 추가로 구축한다. NAVSIM 벤치마크에서의 광범위한 실험을 통해 WCog-VLA가 92.9의 최첨단(SOTA) PDMS 점수를 달성함을 입증한다.

arXiv:2607.08402v1cs.CV공통 태그 Autonomous Vehicles, Trajectory Prediction

얼굴 교체로 프라이버시 보호, 특징 보존으로 활용성 유지: ITS 보행자 프라이버시를 위한 이중 목적 파이프라인

Swapping Faces, Saving Features: A Dual-Purpose Pipeline for Pedestrian Privacy in ITS

자율주행차(AV)가 실시간 의사결정을 수행하도록 AI 모델을 학습시키려면 대규모의 다양한 데이터셋이 필요하며, 이는 지능형 교통 시스템(ITS)의 핵심 응용 분야다. 보행자 의도 및 궤적 예측은 자율주행차에서 중요하게 사용되는 모델로, 다양한 보행자 이미지를 포함하는 데이터셋을 필요로 한다. 이러한 데이터셋에 대한 무제한 접근은 신원 도용 및 보행자 추적과 같은 심각한 보안 위험을 초래한다. 문제는 모델 학습에 필요한 이미지 속성을 유지하면서 프라이버시 보호 절차를 적용하는 것이다. 기존 프라이버시 기법들은 보행자의 프라이버시를 보호할 수 있으나 이미지 활용성을 저하시켜 모델의 효과를 저해한다. 본 연구는 얼굴 교체(face swapping)를 통해 보행자의 프라이버시를 보호하면서 필수적인 얼굴 속성을 온전히 유지하는 5단계 파이프라인을 구현하는 데 초점을 맞춘다. 이 파이프라인은 Egy-DRiVeS 데이터셋의 프라이버시 요구 사항을 충족하도록 설계되었다. 또한 Roop와 Ghost-v2 얼굴 교체 모델을 평가하였으며, 실험 결과 Roop가 여러 측면에서 Ghost-v2보다 우수한 성능을 보임을 확인하였다. 이에 따라 신원 은폐를 통한 보행자 프라이버시 보호와 얼굴 속성 보존을 통한 데이터 활용성 간의 균형을 달성하기 위해 Roop를 파이프라인의 얼굴 교체 모델로 채택하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.