Transfer Learning Study of Motion Transformer-based Trajectory Predictions
원문 초록
Trajectory planning in autonomous driving is highly dependent on predicting the emergent behavior of other road users. Learning-based methods are currently showing impressive results in simulation-based challenges, with transformer-based architectures technologically leading the way. Ultimately, however, predictions are needed in the real world. In addition to the shifts from simulation to the real world, many vehicle- and country-specific shifts, i.e. differences in sensor systems, fusion and perception algorithms as well as traffic rules and laws, are on the agenda. Since models that can cover all system setups and design domains at once are not yet foreseeable, model adaptation plays a central role. Therefore, a simulation-based study on transfer learning techniques is conducted on basis of a transformer-based model. Furthermore, the study aims to provide insights into possible trade-offs between computational time and performance to support effective transfers into the real world.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬
SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.
AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링
AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding
월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.
계획하면서 설명하는 법 학습하기: 자율주행을 위한 규칙 정렬 디퓨전 플래닝
Learning to Explain While Planning: Rule-Aligned Diffusion Planning for Autonomous Driving
디퓨전 플래너(diffusion planner)는 다중 모달(multimodal) 궤적 생성에서 강력한 성능을 보여줍니다. 그러나 기존 방법들은 주로 전문가 시연 데이터에 의존하여 궤적 분포를 피팅하므로, 주행 규칙을 명시적으로 모델링하지 않은 채 장면, 행동, 궤적 간의 통계적 상관관계만을 학습합니다. 전문가 데이터가 희소한 롱테일(long-tail) 시나리오에서는 모방할 행동이 부족하여 안전성이나 규정 준수 요건을 위반하는 궤적으로 이어질 수 있습니다. 나아가 기존의 생성 과정에는 규칙 수준의 설명이 결여되어 있어, 어떤 규칙이 궤적 조정을 유도하는지, 언제 효력을 발휘하는지, 얼마나 강하게 작용하는지 파악하기 어려우며, 이에 따라 실패 진단, 안전성 검증(validation), 목표 지향적 개선이 제한됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 학습(training) 중 미분 가능한 주행 규칙을 디퓨전 목적 함수에 통합하여 유한한 시연 데이터를 넘어 규칙 지식을 내재적 행동 원칙으로 전환하는 규칙 정렬 디퓨전 플래너(Rule-Aligned Diffusion Planner, RADP)를 제안합니다. 또한 예측된 궤적에 대한 규칙 손실의 그래디언트로부터 지도 신호를 구성하고 경량 어트리뷰션 헤드를 활용하여 각 규칙이 가하는 최적화 압력을 온라인으로 추정하는 규칙 압력 어트리뷰션(Rule-Pressure Attribution, RPA)을 소개합니다. 이러한 어트리뷰션의 폐루프(closed-loop) 행동 연관성을 평가하기 위해, 현재의 규칙 압력이 후속 폐루프 실행 중 발생하는 해당 위험을 반영하는지 평가하는 시간적 위험 정렬 프로토콜을 제안합니다. nuPlan에 대한 실험 결과는 RADP가 까다로운 안전 필수 시나리오에서 폐루프 플래닝 성능을 향상시키며, RPA는 후속 규칙별 위험과 일관된 시간적 정렬을 보여 내재적 규칙 학습과 규칙 수준의 해석 가능성을 모두 입증함을 보여줍니다.
AnchorReasoning: 롱테일 자율주행 시나리오에서의 시각적 그라운딩 및 인과 추론 데이터셋
AnchorReasoning: A Visual Grounding and Causal Reasoning Dataset in Long-Tail Autonomous Driving Scenarios
비전-언어 모델(VLM)은 롱테일 자율주행에 유망한 접근을 제공하지만, 기존 주행 데이터셋은 의사결정에 중요한 시각적 근거를 추론 및 계획과 연결하기 위한 감독이 제한적이다. 본 연구는 WOD-E2E를 기반으로 구축한 시각적으로 그라운딩된 추론 데이터셋 AnchorReasoning을 소개하며, 416,119개의 주석 프레임과 4개 주요 범주 및 19개 세분 유형에 걸친 395,379개의 의사결정 핵심 요소를 포함한다. 각 프레임은 의사결정 핵심 요소 식별 및 위치 지정, 요소 속성과 함의, 주행 행동 근거, 행동 및 궤적 계획을 연결하는 시각적으로 그라운딩된 사고의 연쇄(VG-CoT)로 구성된다. 또한 이러한 계층적 능력을 점진적으로 학습하는 커리큘럼 지도 미세조정 전략과, 위치 지정 품질 평가를 위한 객체 크기 인식 그라운딩 지표를 함께 개발한다. 범용, 체화 AI, AV 특화 백본 여덟 가지에 걸친 실험에서 VG-CoT 감독이 그라운딩된 추론과 궤적 예측을 향상시킴을 보인다. 모델 전반에 걸쳐 5초 ADE와 FDE는 각각 7.84 및 11.86 감소하고, RFS Frame과 Cluster는 각각 1.66 및 1.70 개선된다. 이러한 이득은 평균적으로 추론 토큰 18.5개 감소 및 프레임당 추론 지연 0.32초 감소와 함께 달성되어, 롱테일 자율주행에서 VLM 추론 및 계획을 위한 시각적으로 그라운딩되고 의사결정 중심의 감독의 가치를 보여준다.
종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습
Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습
Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding
원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.