arXiv:2609.22762v1 cs.CV

DriveReferee: 주행 월드-액션 모델에서 기하학적 안전 판정은 굳이 학습될 필요가 없다

DriveReferee: Geometric Safety Verdicts Need Not Be Learned for Driving World-Action Models

Fengcheng Yu, Dhruv Parikh, Junjie Ye, Maulik Bhatt, Thang Vu, Igor Vasiljevic, Vitor Guizilini, Yue Wang

제출 2026-09-22

한국어 초록

생성형 월드-액션 모델(world-action model, WAM)은 미래 비디오와 차량 액션을 공동으로 생성하지만, 액션 브랜치는 여전히 주로 전문가 모방(expert imitation)을 통해 최적화된다. 그러나 모방은 생성된 궤적에 대해 명시적인 폐루프(closed-loop) 기하학적 판정을 제공하지 않으므로, 학습(training)과 배포 모두에서 검증이 중요해진다. 폐루프 평가기(evaluator)는 충돌 및 주행 가능 영역 위반을 확인할 수 있지만, 배포 시에는 사용할 수 없는 특권적 씬 상태(privileged scene state)를 필요로 한다. 기존 접근 방식은 센서 특징으로부터 검증기(verifier)를 학습하여 이러한 간극을 좁히는 경우가 많다. 이러한 기하학적 검사의 경우 규칙 자체는 명시적이다. 예를 들어, 충돌은 전개된 자차 풋프린트(footprint)가 점유된 차량 공간과 겹치는지 여부로 결정된다. 배포 시 사용할 수 없는 것은 해당 규칙을 적용하는 데 필요한 씬 상태이다. 본 논문에서는 학습된 기하학 판독(geometry readout)을 사용하여 카메라 관측으로부터 씬 표현을 예측하고, 기하학적 안전 규칙을 학습하는 대신 직접 실행하는 DriveReferee를 소개한다. 이를 통해 생성된 해석적 심판(analytic referee)은 씬 상태와 후보 궤적으로부터 충돌 및 주행 가능 영역 안전성을 평가한다. 학습 중에는 참값(ground-truth) 상태에서 자체 샘플링된 궤적의 점수를 매기고 그 결과로 얻은 선호도를 WAM 정책에 증류(distill)한다. 배포 시에는 동일한 심판이 이 예측된 상태를 바탕으로 생성된 궤적을 평가하고 필요할 때 더 안전한 대안을 선택한다. 해석적 심판은 판정 관련 전용 학습을 필요로 하지 않으며, 그 결정은 명시적인 기하학적 규칙을 따른다. 동일한 후보군과 추론(inference) 예산 하에서, 본 방식은 모든 학습 기반 검증기 및 휴리스틱 베이스라인과 대등하거나 이를 능가한다. 동일한 예측 상태와 궤적이 주어졌을 때, 판정 자체를 학습하는 것은 평가기 라벨이 부착된 수만 개의 학습 예제가 필요함에도 불구하고 측정 가능한 다운스트림 이득을 제공하지 못한다. 전체 NAVSIM navtest에서 DriveReferee는 단일 카메라 시각 입력만으로 외부 학습 데이터 없이 92.02 PDMS를 달성한다.

원문 초록

Generative world-action models (WAMs) jointly generate future video and vehicle actions, while their action branches remain primarily optimized by expert imitation. Yet imitation provides no explicit closed-loop geometric verdict for generated trajectories, making verification important during both training and deployment. Closed-loop evaluators can check collision and drivable-area violations, but require privileged scene state unavailable at deployment. Existing approaches often close this gap by learning a verifier from sensor features. For these geometric checks, the rule itself is explicit. For example, collision is determined by whether the rolled-out ego footprint overlaps occupied vehicle space. What is unavailable at deployment is the scene state needed to apply the rule. We introduce DriveReferee, which uses a learned geometry readout to predict the scene representation from camera observations and executes the geometric safety rule directly rather than learning it. The resulting analytic referee evaluates collision and drivable-area safety from a scene state and candidate trajectory. During training, it scores self-sampled trajectories on ground-truth state and distills the resulting preferences into the WAM policy. At deployment, the same referee evaluates generated trajectories on this predicted state and selects a safer alternative when needed. The analytic referee requires no verdict-specific training, and its decisions follow an explicit geometric rule. Under matched candidates and inference budgets, it matches or outperforms all learned-verifier and heuristic baselines. Given the same predicted state and trajectory, learning the verdict provides no measurable downstream gain despite requiring tens of thousands of evaluator-labeled training examples. On the full NAVSIM navtest, DriveReferee reaches 92.02 PDMS with single-camera visual input and no external training data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22762v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15745v1cs.CV공통 태그 Autonomous Driving, Scene Understanding

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2609.38472v2cs.RO공통 태그 Autonomous Driving, Imitation Learning

Diffusion-2BC: 자율주행 오프라인 행동 복제를 위한 확산 및 회귀 하이브리드 학습

Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving

행동 복제(Behavior Cloning)는 자율주행 정책 학습을 위한 오프라인 경로를 제공하지만, 하나의 관측에 대해 여러 유효한 행동이 존재할 수 있는 시연 데이터의 경우 평균 제곱 오차(mean-squared-error) 회귀와는 잘 맞지 않습니다. 확산 정책(Diffusion policy)은 조건부 다봉(multimodal) 행동 분포를 표현할 수 있지만, 제한된 데이터로부터 시각적 특징과 제어를 학습할 때 폐루프(closed-loop) 성능이 불안정할 수 있습니다. 본 논문에서는 공유된 시각적 인코더 상에서 확산 노이즈 제거(denoising) 목표와 보조 결정론적 행동 복제 손실을 결합한 Diffusion-2BC를 제안합니다. 보조 브랜치는 학습 중에만 사용되며, 추론은 확산 기반으로 유지됩니다. 제안된 방법은 통제된 Claw 환경과 버드아이뷰(bird's-eye-view) CARLA 내비게이션(경로 조건부 주행, 여러 교차로를 통과하는 무경로 내비게이션, Town01에서 Town02로의 교차 맵 평가 포함)에서 평가됩니다. Claw 태스크에서 Diffusion-2BC는 확산 기반 행동 복제 기준선 대비 약 10%, 표준 결정론적 행동 복제 대비 85% 평균 마스크 거리 오차를 줄였습니다. 무경로 CARLA에서 Diffusion-2BC는 Town01과 Town02 모두에서 평가 프로토콜 하에 주행이 종료되기 전까지 두 기준선보다 훨씬 더 먼 거리를 주행했습니다. 추가적인 정성적 롤아웃을 통해 뚜렷한 경로 선택이 확인되었으며, 제안된 확산 기반 에이전트의 다봉 행동을 보여주었습니다. 이러한 결과는 보조 회귀 신호가 통제된 벤치마크에서 다봉 예측을 보존하면서도 확산 행동 복제의 폐루프 신뢰성을 향상시킬 수 있음을 나타냅니다.

arXiv:2610.02626v2cs.CV공통 태그 Imitation Learning, Scene Understanding

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2610.11058v1cs.CV공통 태그 Autonomous Driving, Scene Understanding

연결 관계 개선을 통한 격차 해소: 자율주행 장면 토폴로지를 위한 신뢰할 수 있는 향상 프레임워크

Refine Connections, Close the Gap: A Reliable Enhancement Framework for Driving Scene Topology

자율주행에서 차선과 교통 요소 간의 연결성을 의미하는 장면 토폴로지(scene topology)를 이해하는 것은 안전한 경로 계획과 모션 제어에 매우 중요합니다. 현재 방법들은 개별 지도 요소를 탐지하는 데는 뛰어나지만, 연결성 추론은 이론적 잠재력에 미치지 못하는 경우가 많아 기본 탐지 성능을 감안할 때 달성 가능한 이론적 상한선과 비교해 상당한 성능 격차를 남깁니다. 나아가 다운스트림 태스크로 전달되는 의사결정용 토폴로지 그래프는 여전히 신뢰하기 어려운 경우가 많습니다. 기존 접근 방식은 일반적으로 연속적인 토폴로지 점수에 임계값을 적용하여 연결성을 도출하지만, 이러한 점수는 실제 연결성의 논리적 가능도(likelihood)를 제대로 반영하지 못하여 오탐(false positive)이나 누락된 연결을 초래하곤 합니다. 기존 벤치마크 또한 의사결정에 필요한 이산적 연결성을 평가하기보다 주로 연속적 지표를 평가함으로써 이 문제를 간과하고 있습니다. 이러한 격차를 해소하기 위해, 기존 방법들의 잠재력을 끌어내고 의사결정용 토폴로지의 신뢰성을 높이도록 설계된 새로운 토폴로지 향상 프레임워크인 TopoEnhance를 제안합니다. 본 연구는 토폴로지 향상을 디노이징 기반 재구성 과정으로 정식화하며, 여기서 모델(model)은 확률적으로 훼손된 정답 그래프로부터 구조적 일관성을 복원하는 방법을 학습합니다. 이러한 정식화를 통해 모델은 논리적 불일치를 해결하고 신뢰할 수 없는 연결을 바로잡아, 이론적 최대 성능에 근접하는 견고한 이산 토폴로지 그래프를 생성할 수 있습니다. 다양한 베이스라인에 걸친 광범위한 실험 결과, TopoEnhance는 연속적 토폴로지 지표(TOP 점수)와 본 연구에서 조정한 토폴로지 자카드 유사도(TJS) 지표로 측정한 이산적 연결성 모두를 일관되게 향상시키는 것으로 나타났습니다. 유연하고 소스에 구애받지 않는(source-agnostic) 프레임워크인 TopoEnhance는 재학습 없이도 다양한 최신 베이스라인 전반에 걸쳐 상당한 성능 향상을 제공합니다.

arXiv:2610.11060v1cs.CV공통 태그 Autonomous Driving, Scene Understanding

AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링

AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding

월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.

arXiv:2610.00601v1cs.RO공통 태그 Autonomous Driving, Imitation Learning

추론이 행동에 도움이 되는 순간: 비전-언어-행동 정책에서 사고의 연쇄 모니터링 및 조향

When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies

추론 기능이 활성화된 VLA(Vision-Language-Action) 정책은 행동을 설명하고 안내하는 것처럼 보이는 사고의 연쇄(CoT, Chain-of-Thought) 궤적을 드러내며, 이는 추론 모니터링 및 수정을 통한 런타임 안전성의 잠재적 인터페이스를 형성합니다. 본 연구에서는 이러한 인터페이스가 구체화된(embodied) 행동을 언제 개선할 수 있는지 평가하기 위한 두 가지 평가 축을 정의하고 구체화합니다. 하나는 생성 과정에서 신뢰할 수 없는 추론을 감지하고 개선할 수 있는지를 측정하는 수정 가능성(correctability)이며, 다른 하나는 추론 수정이 의도된 방향으로 행동상 의미 있는 변화를 만들어내는지를 측정하는 실행 가능성(actionability)입니다. 수정 가능성을 실현하기 위해, 부분적인 접두사로부터 최종 추론 정확도를 예측하고 이러한 추정치를 활용하여 동결된 VLA 정책의 추론 생성을 모니터링하고 선택적으로 조향하는 오프라인 학습 가치 모델인 TRUST(Token-level Reward for Utility-Steered Chain-of-Thought)를 도입합니다. 주행 VLA인 Alpamayo 1.5에서 TRUST는 88.9%의 정확도로 정확성을 모니터링하고 추론 정확도를 75.9%에서 90.0%로 향상시킵니다. AlpaSim의 기준선(baseline) 정의 고난도 서브셋에서 TRUST는 조향되지 않은 정책 대비 충돌률을 30.4%, 최대 궤적 오차를 11.5% 감소시켜 연산량을 맞춘 Best-of-4 기준선보다 우수한 성능을 보입니다. 조작 VLA인 DeepThinkVLA에서 TRUST는 파지 상태 주장의 정확도를 69.3%에서 90.2%로, 행동 선택 주장의 정확도를 68.8%에서 85.9%로 개선하지만, LIBERO-Plus에서의 폐루프(closed-loop) 태스크 성능은 대체로 변함없이 유지됩니다. 실증적 분석을 통해 Alpamayo 1.5에서는 의도와 일치하는 행동 효과가 나타나지만 DeepThinkVLA에서는 효과가 제한적임을 확인하여, 태스크 수준에서 나타난 서로 다른 결과를 해석하는 데 도움을 줍니다. 종합적으로 본 연구 결과는 추론 정확도의 향상이 구체화된 성능의 향상을 자동으로 의미하지는 않음을 보여주며, CoT를 런타임 안전 인터페이스로 활용할 때 수정 가능성과 실행 가능성을 함께 평가해야 할 필요성을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.