arXiv:2606.11569v1 cs.RO

ConsistencyPlanner: Fast-Sampling Consistency Models를 활용한 실시간 계획

ConsistencyPlanner: Real-time Planning with Fast-Sampling Consistency Models

Qichao Zhang, Xing Fang, Jiaqi Fang, Zhenwen Cai, Jie Ling, Qiankun Yu, Dongbin Zhao

제출 2026-06-10

한국어 초록

복잡한 실세계 주행 시나리오에서의 폐루프(closed-loop) 계획은 자율주행 시스템에 있어 중요한 과제입니다. 전통적인 규칙 기반(rule-based) 방법은 해석 가능하지만, 미리 정의된 휴리스틱(heuristics)은 동적인 교통 환경에 대한 적응력이 부족합니다. 학습 기반(learning-based) 접근법은 상당한 가능성을 보여주었습니다. 그러나 이러한 접근법은 다양하고 멀티모달(multimodal)한 주행 행동 모델링과 실시간 계획 사이의 균형을 맞추는 데 어려움을 겪어, 종종 우유부단하거나 안전하지 않은 행동으로 이어지곤 합니다. 이러한 제한을 해결하기 위해 우리는 빠른 샘플링 일관성 모델(consistency models)을 활용하는 실시간 계획 프레임워크인 Consistency Planner를 제안합니다. 우리의 접근법은 두 가지 주요 기술적 기여를 바탕으로 구축되었습니다. 효율적인 멀티모달 샘플링: 우리는 신뢰할 수 있는 다양한 미래 궤적(trajectories) 세트를 생성하기 위해 빠른 샘플링 일관성 모델을 사용합니다. 이는 이전의 반복적 생성 방법(iterative generative methods)이 가진 계산 병목 현상을 극복하면서, 멀티모달 행동에 대한 효율적인 실시간 탐험(exploration)을 가능하게 합니다. 이질적 특징 융합(Heterogeneous Feature Fusion): 우리는 견고한 계획을 위해 이질적인 입력 특징(features)(장면 특징 및 행동 토큰(token) 포함)을 하나의 응집력 있는 표현으로 동적으로 통합하는 어텐션(attention) 강화 디코더를 도입합니다. Waymax 시뮬레이터에서 수행한 광범위한 평가 결과, 제안하는 방법은 기존 방법들과 비교하여 안전성 지표(safety metrics)에서 우수한 성능을 보여주었으며, 특히 도전적인 동적 시나리오에서 강력한 결과를 입증했습니다.

원문 초록

Closed-loop planning in complex, real-world driving scenarios presents a critical challenge for autonomous driving systems. While traditional rule-based methods are interpretable, their predefined heuristics lack the adaptability for dynamic traffic environments. Learning-based approaches have shown considerable promise. Conversely, learning-based approaches, despite their promise, struggle to balance the modeling diverse and multimodal driving behaviors and real-time planning, often leading to indecisive or unsafe actions. To address this limitation, we propose Consistency Planner, a real-time planning framework with fast-sampling consistency models. Our approach is built upon two key technical contributions. Efficient Multimodal Sampling: We employ fast-sampling consistency models to generate a diverse set of plausible future trajectories. This enables efficient, real-time exploration of multimodal actions, overcoming the computational bottlenecks of previous iterative generative methods. Heterogeneous Feature Fusion: We introduce an attention-enhanced decoder that dynamically integrates heterogeneous input features (including scene feature and action token) into a cohesive representation for robust planning. Extensive evaluation in the Waymax simulator demonstrates superior performance in safety metrics compared to existing methods, with particularly strong results in challenging dynamic scenarios.

요약

자율주행 환경에서 실시간 계획과 멀티모달 행동 모델링의 균형을 위해 빠른 샘플링 일관성 모델(consistency models)과 어텐션 기반 특징 융합을 활용하는 ConsistencyPlanner를 제안한다. Waymax 시뮬레이터 평가 결과, 제안된 방법은 기존 방법 대비 우수한 안전성을 보이며 특히 동적인 시나리오에서 강력한 성능을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11569v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22868v1cs.CV공통 태그 Autonomous Driving, Motion Planning

종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습

Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving

종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.

arXiv:2607.07844v1cs.RO공통 태그 Autonomous Driving, Motion Planning

Shift & Drift: 일반화 가능하고 강건한 자율주행 모션 플래닝을 위한 제로샷 벤치마크

Shift & Drift: A Zero-Shot Benchmark for Generalizable and Robust Autonomous Driving Motion Planning

nuPlan과 같은 대규모 객체 수준 데이터셋으로 학습된 폐루프(closed-loop) 모션 플래너는 분포 내(in-distribution, ID) 성능이 우수하지만, 새로운 도시 토폴로지에 대한 일반화 능력과 실행 중 섭동(perturbation) 발생 후 복구 메커니즘은 충분히 탐구되지 않았다. 이를 해결하기 위해 우리는 두 가지 핵심 분포 변화 축에 걸쳐 모션 플래너를 엄밀하게 stress-test하도록 설계된 새로운 이중 트랙 벤치마크인 Shift & Drift를 제시한다. (1) Semantic Shift Track은 공중 촬영 기반의 DeepScenario Open 3D 데이터셋을 nuPlan 시뮬레이션 프레임워크로 변환하는 새로운 변환 파이프라인을 활용한다. 이를 통해 북미 및 싱가포르 데이터로 학습된 플래너를 독일 4개 도시와 미국 샌프란시스코에 걸친 1,182개 시나리오—보행자-자전거 이용자 간 밀집 상호작용이 특징적인—에 대해 제로샷(zero-shot) 평가할 수 있다. (2) State-Distribution Drift Track은 자차(ego vehicle)의 동역학에 확률적 섭동을 주입하여 누적 실행 오류에 대한 강건성을 정량화한다. 이를 기반으로 우리는 시맨틱 및 상태 분포 변화 하에서 다양한 플래닝 패러다임의 실패 양상을 체계적으로 평가한다. 모방 학습(imitation learning) 방법은 ID 벤치마크에서 높은 점수를 달성하지만, 시맨틱 변화—특히 보행자 밀집 환경—에서 심각한 실패를 나타내며, 시간적으로 상관된 액추에이션 노이즈에 노출될 경우 지속적인 드리프트(drift)를 겪는다. 이와 대조적으로, 평가된 강화학습(reinforcement learning) 기반 플래너는 두 트랙 모두에서 더 높은 안전성 및 진행 지표를 유지하며 보다 완만한 성능 저하를 보인다. 우리의 연구 결과는 모방 충실도와 폐루프 복원력 사이의 경험적 트레이드오프를 밝히며, 신뢰할 수 있는 배포를 향한 진전을 평가하기 위한 엄밀한 벤치마크를 커뮤니티에 제공한다.

arXiv:2606.24051v1cs.CV공통 태그 Autonomous Driving, Motion Planning

DriveStack-VLA: BEV 기반 DeepStack 비전-언어-행동 모델을 위한 렌더-티처 정렬

DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

비전-언어-행동(VLA) 자율주행 모델은 사전학습된 비전-언어 모델을 주행 정책으로 변환하여 세계 지식을 활용하고 언어 지시를 따를 수 있게 한다. 그러나 기존 VLA 자율주행 모델은 주행 지향적 공간 지능이 여전히 부족하다. 이러한 모델의 정책은 주로 원근 이미지 토큰과 언어 사전 지식에 의존하는 반면, 정밀한 모션 플래닝에는 메트릭 기하학, 하향식 장면 구조, 그리고 안전에 중요한 지각 단서에 대한 어텐션이 필요하다. 이러한 한계로 인해 현재 모델은 전문가 시연에서 시각적 기하학 모델링 약화 및 지각 범위 부족에 취약하다. 본 논문에서는 대규모 VLM 백본 위에 구축된 프레임워크인 DriveStack-VLA를 제안한다. VLA 자율주행의 공간 그라운딩을 강화하기 위해 이중 시각 모델링 구성 요소를 개발한다. DeepStack 방식의 연결을 통해 조감도(Bird-Eye-View, BEV) 표현을 대규모 언어 모델(LLM) 디코더에 주입하고, 실제 이미지의 지각적 초점을 래스터화된 이미지의 초점과 정렬하는 Render-Teacher Alignment를 제안한다. 나아가 멀티모달 궤적 선택의 격차를 해소하기 위해, 샘플링된 궤적에 순위를 매기고 최상의 궤적을 조건부로 정제하는 헤드 기반 자기 비평 모듈을 도입한다. DriveStack-VLA는 NAVSIMv1에서 91.6 PDMS, NAVSIMv2에서 91.0 EPDMS(인간 패널티 필터 적용 시), 그리고 폐루프 Bench2Drive에서 56.36%의 성공률과 79.49의 주행 점수를 달성한다. 추가 시각화 자료는 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/drivestack-vla/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.