arXiv:2108.05814

Decoder Fusion RNN: Context and Interaction Aware Decoders for Trajectory Prediction

Edoardo Mello Rella, Jan-Nico Zaech, Alexander Liniger, Luc van Gool

제출 2021-08-12

원문 초록

Forecasting the future behavior of all traffic agents in the vicinity is a key task to achieve safe and reliable autonomous driving systems. It is a challenging problem as agents adjust their behavior depending on their intentions, the others' actions, and the road layout. In this paper, we propose Decoder Fusion RNN (DF-RNN), a recurrent, attention-based approach for motion forecasting. Our network is composed of a recurrent behavior encoder, an inter-agent multi-headed attention module, and a context-aware decoder. We design a map encoder that embeds polyline segments, combines them to create a graph structure, and merges their relevant parts with the agents' embeddings. We fuse the encoded map information with further inter-agent interactions only inside the decoder and propose to use explicit training as a method to effectively utilize the information available. We demonstrate the efficacy of our method by testing it on the Argoverse motion forecasting dataset and show its state-of-the-art performance on the public benchmark.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39888v2cs.LG공통 태그 Autonomous Driving, Trajectory Prediction

마르코프 동역학 강제자: 학습된 동역학 다양체 상에서 실행 가능성을 보존하는 보정

Markovian Dynamics Enforcer: Feasibility Preserving Correction on Learned Dynamics Manifolds

신경망 궤적 예측 모델(neural trajectory predictor)은 특히 제어 입력이 관측되지 않고 동역학이 부분적으로만 명시된 경우, 동역학, 액추에이터 한계 또는 상태 제약 조건을 위반하면서도 낮은 예측 오차에 도달할 수 있습니다. 본 논문에서는 상태 전이 제안을 학습된 실행 가능한 동역학 다양체(manifold)로 매핑하는 시불변 사후 연산자인 MaDE(Markovian Dynamics Enforcer)를 소개합니다. 이는 실제 제어 입력(ground-truth controls) 없이 실행 가능한 상태만을 바탕으로 학습됩니다. MaDE는 각 전이에 대해 제어 입력을 추론하고, 알려진 물리 법칙과 학습된 잔차(residual)로 구성된 완결 모델(completion model)을 통해 상태를 재계산합니다. 그런 다음 그래디언트 기반 부등식 감소를 통해 해당 제어 입력을 보정하므로, 부등식 만족은 반복(iteration) 예산 내에서 최선의 노력(best-effort)으로 이루어집니다. 모든 보정 반복 단계가 완결 모델에 다시 입력되므로, 반환된 상태는 해당 모델 및 제공된 이전 상태 앵커를 기준으로 구조상 동역학적 일관성을 갖게 됩니다. MaDE는 완전히 명시된 시뮬레이션 시스템에서 동역학 잔차를 본질적으로 0에 가깝게 줄이며, 불충분하게 명시된 시스템에서는 베이스라인보다 더 작은 실제 동역학 잔차를 남깁니다. 임의의 예측 모델에 결합되도록 설계된 이 고정된(frozen) 연산자는 순환 신경망, 구조화된 상태 공간, 트랜스포머(transformer) 예측 모델의 다운스트림에서 평가되었습니다. 기록된 차량 궤적 데이터에서 기구학적 자전거 모델 대비 1단계 잔차는 MaDE 적용 시 0.0071~0.0072인 반면, 원본 예측 모델은 0.1703~0.1714였습니다. MaDE는 평균 변위 오차(ADE)를 1.57배에서 1.83배 증가시킵니다.

arXiv:2610.01905v1cs.CV공통 태그 Autonomous Driving, Trajectory Prediction

MapLightning: 1D 맵 토큰을 활용한 온라인 벡터화 고정밀 지도(HD Map) 구축

MapLightning: Online Vectorized HD Map Construction with 1D Map Tokens

온라인 벡터화 고정밀 지도(HD Map) 구축은 안전한 자율주행의 확장을 위해 필수적이며, 정확한 실시간 추론(inference)을 요구합니다. 기존 방식들은 주로 중간 표현으로 조감도(BEV, Bird's-Eye-View) 격자에 의존합니다. 본 논문에서는 조밀한 BEV 격자를 압축된 1D 학습형 맵 토큰 세트로 대체하는 MapLightning을 제안합니다. 이미지 특징으로부터 맵 토큰을 구성하기 위해, 일반적인 크로스 어텐션 대신 셀프 어텐션(self-attention)을 채택하여 이미지 토큰과 맵 토큰 간의 결합 상호작용 및 문맥적 집계를 가능하게 합니다. 제안하는 트랜스포머(transformer) 기반 매퍼는 맵 토큰과 이미지 토큰을 연결(concatenate)하고 전체 셀프 어텐션을 적용한 후, 이미지 토큰은 버리고 업데이트된 맵 토큰만 유지하여 디코딩에 활용합니다. 이러한 설계는 세 가지 이점을 제공합니다. 첫째, 제안하는 표현 방식은 더 적은 수의 토큰을 사용하여 메모리 소모를 줄이고 더 빠르게 동작하므로 효율적입니다. 둘째, 경량화된 설계를 통해 맵 디코더가 변형 가능한(deformable) 크로스 어텐션 대신 완전한 크로스 어텐션을 사용하여 더 우수한 전역 문맥을 활용할 수 있습니다. 셋째, BEV 기반 방식과 달리 카메라 투영 파라미터를 사용하지 않아 카메라 외란(extrinsic perturbation)에 견고합니다. MapLightning은 조밀한 BEV 기반 방식 대비 최대 16.7배 적은 중간 토큰을 사용하며, nuScenes 및 Argoverse 2 벤치마크에서 최고 수준의 정확도와 효율성을 달성합니다. 경량 버전은 nuScenes에서 +10.1 mAP, Argoverse 2에서 +16.2 mAP만큼 MapTRv2를 능가하는 동시에, 53% 적은 메모리로 1.73배 빠른 추론 속도(40+ FPS)를 제공합니다. 나아가 불확실성을 인지하는 지도 구축 및 다운스트림 경로 예측에서도 개선 효과를 입증합니다. 코드와 모델은 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.