Multimodal Trajectory Prediction for Autonomous Driving on Unstructured Roads using Deep Convolutional Network
원문 초록
Recently, the application of autonomous driving in open-pit mining has garnered increasing attention for achieving safe and efficient mineral transportation. Compared to urban structured roads, unstructured roads in mining sites have uneven boundaries and lack clearly defined lane markings. This leads to a lack of sufficient constraint information for predicting the trajectories of other human-driven vehicles, resulting in higher uncertainty in trajectory prediction problems. A method is proposed to predict multiple possible trajectories and their probabilities of the target vehicle. The surrounding environment and historical trajectories of the target vehicle are encoded as a rasterized image, which is used as input to our deep convolutional network to predict the target vehicle's multiple possible trajectories. The method underwent offline testing on a dataset specifically designed for autonomous driving scenarios in open-pit mining and was compared and evaluated against physics-based method. The open-source code and data are available at https://github.com/LLsxyc/mine_motion_prediction.git
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
마르코프 동역학 강제자: 학습된 동역학 다양체 상에서 실행 가능성을 보존하는 보정
Markovian Dynamics Enforcer: Feasibility Preserving Correction on Learned Dynamics Manifolds
신경망 궤적 예측 모델(neural trajectory predictor)은 특히 제어 입력이 관측되지 않고 동역학이 부분적으로만 명시된 경우, 동역학, 액추에이터 한계 또는 상태 제약 조건을 위반하면서도 낮은 예측 오차에 도달할 수 있습니다. 본 논문에서는 상태 전이 제안을 학습된 실행 가능한 동역학 다양체(manifold)로 매핑하는 시불변 사후 연산자인 MaDE(Markovian Dynamics Enforcer)를 소개합니다. 이는 실제 제어 입력(ground-truth controls) 없이 실행 가능한 상태만을 바탕으로 학습됩니다. MaDE는 각 전이에 대해 제어 입력을 추론하고, 알려진 물리 법칙과 학습된 잔차(residual)로 구성된 완결 모델(completion model)을 통해 상태를 재계산합니다. 그런 다음 그래디언트 기반 부등식 감소를 통해 해당 제어 입력을 보정하므로, 부등식 만족은 반복(iteration) 예산 내에서 최선의 노력(best-effort)으로 이루어집니다. 모든 보정 반복 단계가 완결 모델에 다시 입력되므로, 반환된 상태는 해당 모델 및 제공된 이전 상태 앵커를 기준으로 구조상 동역학적 일관성을 갖게 됩니다. MaDE는 완전히 명시된 시뮬레이션 시스템에서 동역학 잔차를 본질적으로 0에 가깝게 줄이며, 불충분하게 명시된 시스템에서는 베이스라인보다 더 작은 실제 동역학 잔차를 남깁니다. 임의의 예측 모델에 결합되도록 설계된 이 고정된(frozen) 연산자는 순환 신경망, 구조화된 상태 공간, 트랜스포머(transformer) 예측 모델의 다운스트림에서 평가되었습니다. 기록된 차량 궤적 데이터에서 기구학적 자전거 모델 대비 1단계 잔차는 MaDE 적용 시 0.0071~0.0072인 반면, 원본 예측 모델은 0.1703~0.1714였습니다. MaDE는 평균 변위 오차(ADE)를 1.57배에서 1.83배 증가시킵니다.
MapLightning: 1D 맵 토큰을 활용한 온라인 벡터화 고정밀 지도(HD Map) 구축
MapLightning: Online Vectorized HD Map Construction with 1D Map Tokens
온라인 벡터화 고정밀 지도(HD Map) 구축은 안전한 자율주행의 확장을 위해 필수적이며, 정확한 실시간 추론(inference)을 요구합니다. 기존 방식들은 주로 중간 표현으로 조감도(BEV, Bird's-Eye-View) 격자에 의존합니다. 본 논문에서는 조밀한 BEV 격자를 압축된 1D 학습형 맵 토큰 세트로 대체하는 MapLightning을 제안합니다. 이미지 특징으로부터 맵 토큰을 구성하기 위해, 일반적인 크로스 어텐션 대신 셀프 어텐션(self-attention)을 채택하여 이미지 토큰과 맵 토큰 간의 결합 상호작용 및 문맥적 집계를 가능하게 합니다. 제안하는 트랜스포머(transformer) 기반 매퍼는 맵 토큰과 이미지 토큰을 연결(concatenate)하고 전체 셀프 어텐션을 적용한 후, 이미지 토큰은 버리고 업데이트된 맵 토큰만 유지하여 디코딩에 활용합니다. 이러한 설계는 세 가지 이점을 제공합니다. 첫째, 제안하는 표현 방식은 더 적은 수의 토큰을 사용하여 메모리 소모를 줄이고 더 빠르게 동작하므로 효율적입니다. 둘째, 경량화된 설계를 통해 맵 디코더가 변형 가능한(deformable) 크로스 어텐션 대신 완전한 크로스 어텐션을 사용하여 더 우수한 전역 문맥을 활용할 수 있습니다. 셋째, BEV 기반 방식과 달리 카메라 투영 파라미터를 사용하지 않아 카메라 외란(extrinsic perturbation)에 견고합니다. MapLightning은 조밀한 BEV 기반 방식 대비 최대 16.7배 적은 중간 토큰을 사용하며, nuScenes 및 Argoverse 2 벤치마크에서 최고 수준의 정확도와 효율성을 달성합니다. 경량 버전은 nuScenes에서 +10.1 mAP, Argoverse 2에서 +16.2 mAP만큼 MapTRv2를 능가하는 동시에, 53% 적은 메모리로 1.73배 빠른 추론 속도(40+ FPS)를 제공합니다. 나아가 불확실성을 인지하는 지도 구축 및 다운스트림 경로 예측에서도 개선 효과를 입증합니다. 코드와 모델은 공개될 예정입니다.
WorkDrive: 자율주행을 위한 도로 공사 인과 연쇄(Chain of Causation)
WorkDrive: Roadwork Chain of Causation for Autonomous Driving
자율주행 비전-언어 모델(VLM)은 도로 공사 구역에서 어려움을 겪는다. 차선 표시와 고정 표지판 같은 친숙한 시각적 단서가 변경되거나 사라지고, 콘과 차단막 같은 임시 장치가 주행 가능한 통로를 재정의하기 때문이다. VLM은 이러한 객체를 탐지할 수 있지만, 명시적 지도 없이는 사전학습에서 익숙한 요소에 추론을 고정하고, 공사 구역 관찰을 올바른 경로 계획 결정과 연결하지 못한다. 우리는 WorkDrive를 제안한다. 이는 공사 구역에 대한 지각 기반(grained) 인과 추론을 구성하고 궤적 예측과 정렬하는 프레임워크이다. 자동화된 다중 작업 지각 파이프라인이 구조화된 장면 사실을 추출하여 Chain-of-Causation(CoC) 어노테이션 파이프라인에 주입하고, 어노테이터의 어텐션을 도메인 특화 요소로 재지향한다. 이렇게 생성된 추론 라벨은 지도 미세조정에 사용되며, 이어서 횡방향 메타 행동과 예측 궤적 간의 일관성이라는 단일 보상을 사용한 강화학습이 수행된다. 최대 규모의 공개 공사 구역 데이터셋인 ROADWork에서, 제안된 도로 공사 CoC는 궤적 평균 변위 오류(ADE)를 9.0% 감소시키고, 일관성 기반 GRPO는 추가로 3.0% 개선하여 궤적 전용 기준선 대비 점진적 향상을 달성한다. 코드와 데이터는 공개될 예정이다.
다중 상호작용 차량의 장면 수준 차선 변경 의도 및 궤적 예측을 위한 동적 장면 상호작용 추론 프레임워크
A Dynamic Scene Interaction Reasoning Framework for Scene-level Lane-Change Intention and Trajectory Prediction of Multiple Interacting Vehicles
첨단 운전자 보조 시스템과 자율주행 차량의 안전한 모션 플래닝은 주변 교통 장면이 어떻게 변화할지에 대한 정확한 이해를 필요로 한다. 그러나 기존의 많은 차선 변경 예측 방법은 단일 대상 차량에 중점을 두고 있으며, 다중 에이전트 예측 접근법은 흔히 미래 위치만으로 장면 변화를 기술하고 각 차량과 관련된 조작 기동에 대한 명시적 정보를 제한적으로 제공한다. 본 연구는 국지적 교통 장면 내 모든 관련 차량의 차선 변경 의도 및 미래 궤적을 예측하는 동적 장면 그래프 어텐션 프레임워크를 제안한다. 장면은 시변(time-varying) 상호작용 그래프로 표현되며, 차량은 노드로 모델링되고 공간적·운동학적 관계는 명시적 엣지 특징을 통해 인코딩된다. 시간적 그래프 어텐션 메시지 패싱은 변화하는 차량 간 의존성과 기동 전 단서를 포착하며, 의도 기반 디코더는 예측된 각 기동을 해당 미래 모션에 연결한다. 장면 수준 일관성 목적함수는 다중 차량의 호환 가능한 미래 상태를 추가로 장려한다. NGSIM I-80, NGSIM US-101, highD 데이터셋에 대한 실험은 경쟁 기준선 대비 일관된 성능 향상을 보인다. DSiGAT는 NGSIM I-80 및 US-101에서 각각 90.12% 및 90.97%의 의도 예측 정확도를 달성하고, 가장 강력한 기준선 대비 궤적 RMSE를 최대 52.94%까지 감소시킨다. 또한 에이전트 간 충돌률 및 결합 변위 오류가 낮아 보다 일관된 장면 수준 예측을 나타낸다. 제거 연구(ablation), 민감도, 강건성 및 정성적 분석은 제안된 구성요소의 기여도와 장면 중심 공식화의 효과성을 추가로 검증한다.
SWIFT: 자율주행 흐름 인식 궤적 예측을 위한 소세계 상호작용 프레임워크
SWIFT: A Small-World Interaction Framework for Flow-Aware Trajectory Prediction in Autonomous Driving
자율주행에서 정확한 궤적 예측은 교통 에이전트 간의 동적이고 맥락 의존적인 상호작용을 모델링하는 데 달려 있다. 그러나 기존 접근법의 대부분은 순수하게 데이터 기반이며 구조적 사전 지식이 부재하여, 분포 변화 상황에서의 일반화 능력이 제한된다. 본 연구에서는 교통 네트워크의 구조와 역학을 통해 상호작용 모델링을 재검토하고, 소세계 네트워크와 교통 흐름 이론을 통합하는 통합 프레임워크인 SWIFT(Small-World Interaction Framework for Trajectory prediction)를 제안한다. SWIFT는 지역적 및 전역적 의존성을 모두 포착하는 소세계 상호작용 네트워크와, 장면 수준의 교통 상태에 따라 상호작용 구조를 적응시키는 흐름 체계 인코더(Flow Regime Encoder)를 통해 구조적 귀납 편향을 도입한다. 상호작용 추론은 직접적 및 고차 에이전트 관계를 명시적으로 인코딩하는 다중 관계 그래프 모듈을 통해 더욱 강화된다. nuScenes, MoCAD, NGSIM 세 가지 실세계 데이터셋에 대한 광범위한 실험 결과, SWIFT는 다양한 교통 체계에 걸쳐 예측 정확도 면에서 강력한 기준 모델들을 일관되게 능가함을 보여준다. 정확도를 넘어, SWIFT는 미관측 위치 및 체계에 대한 향상된 일반화 능력, 잡음이 포함된 관측 하에서의 강건성, 그리고 제한된 학습 데이터에서도 우수한 성능을 나타내며, 구조 인식 설계의 효과성을 뒷받침한다.
INTENT: 교차로 시나리오에서 차량 의도 예측을 위한 LSTM 프레임워크 및 포괄적 절제 분석
INTENT: An LSTM Framework for Vehicle Intention Prediction in Intersection Scenarios with Comprehensive Ablation Analysis
차량 의도 예측은 모든 주행 시나리오에서 자율주행 차량의 민첩성과 안전성에 있어 핵심적인 요소이다. 자율주행 차량의 실질적인 향상을 위해서는 교차로, 회전교차로, 급정거와 같은 긴급 상황처럼 높은 수준의 인간 상호작용과 복잡한 주행 행동이 요구되는 상황에서 인간이 운전자의 의도를 해석하는 방식을 차량이 채택하도록 해야 한다. 이러한 상황에서 차량 의도 예측은 매 순간의 행동이 영향을 미치는 실시간 상황 내에서 적절한 회피 행동을 취하는 데 도움을 주어 재앙을 예방할 수 있다. 최악의 경우에도 피해를 최소화하고 안전을 최우선으로 할 수 있다. 또한 의도 예측은 궤적 예측(의도 조건부 궤적 예측)을 향상시키는 데에도 활용될 수 있다. 본 연구에서는 LSTM 모델을 활용한 INTENT 프레임워크를 제안하며, 교차로에서 사건 발생 2초 전에 차량이 직진, 좌회전, 우회전 중 어떤 행동을 할지 차량 의도를 예측한다. 다양한 모델 실험과 절제 연구(ablation study)를 InD 데이터셋에서 철저히 검증하여 99.71%의 정확도를 달성하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.