arXiv:2609.28366v1 cs.CV

AnchorReasoning: 롱테일 자율주행 시나리오에서의 시각적 그라운딩 및 인과 추론 데이터셋

AnchorReasoning: A Visual Grounding and Causal Reasoning Dataset in Long-Tail Autonomous Driving Scenarios

Zhipeng Bao, Wenjie Zhao, Tianle Zhu, Haohua Que, Chence Yang, Geng Yuan, Qianwen Li

제출 2026-09-24

한국어 초록

비전-언어 모델(VLM)은 롱테일 자율주행에 유망한 접근을 제공하지만, 기존 주행 데이터셋은 의사결정에 중요한 시각적 근거를 추론 및 계획과 연결하기 위한 감독이 제한적이다. 본 연구는 WOD-E2E를 기반으로 구축한 시각적으로 그라운딩된 추론 데이터셋 AnchorReasoning을 소개하며, 416,119개의 주석 프레임과 4개 주요 범주 및 19개 세분 유형에 걸친 395,379개의 의사결정 핵심 요소를 포함한다. 각 프레임은 의사결정 핵심 요소 식별 및 위치 지정, 요소 속성과 함의, 주행 행동 근거, 행동 및 궤적 계획을 연결하는 시각적으로 그라운딩된 사고의 연쇄(VG-CoT)로 구성된다. 또한 이러한 계층적 능력을 점진적으로 학습하는 커리큘럼 지도 미세조정 전략과, 위치 지정 품질 평가를 위한 객체 크기 인식 그라운딩 지표를 함께 개발한다. 범용, 체화 AI, AV 특화 백본 여덟 가지에 걸친 실험에서 VG-CoT 감독이 그라운딩된 추론과 궤적 예측을 향상시킴을 보인다. 모델 전반에 걸쳐 5초 ADE와 FDE는 각각 7.84 및 11.86 감소하고, RFS Frame과 Cluster는 각각 1.66 및 1.70 개선된다. 이러한 이득은 평균적으로 추론 토큰 18.5개 감소 및 프레임당 추론 지연 0.32초 감소와 함께 달성되어, 롱테일 자율주행에서 VLM 추론 및 계획을 위한 시각적으로 그라운딩되고 의사결정 중심의 감독의 가치를 보여준다.

원문 초록

Vision-language models (VLMs) offer a promising approach to long-tail autonomous driving, but existing driving datasets provide limited supervision for connecting decision-critical visual evidence with reasoning and planning. We introduce AnchorReasoning, a visually grounded reasoning dataset built on WOD-E2E, containing 416,119 annotated frames and 395,379 decision-critical elements across four major categories and 19 fine-grained types. Each frame is organized as a visually grounded chain-of-thought (VG-CoT) that links decision-critical element identification and localization, element attributes and implications, driving-action rationale, and action and trajectory planning. We further develop a curriculum supervised fine-tuning strategy that progressively learns these hierarchical capabilities, together with an object-size-aware grounding metric for evaluating localization quality. Experiments across eight general-purpose, embodied-AI, and AV-specific backbones show that VG-CoT supervision improves grounded reasoning and trajectory prediction. Across models, 5-s ADE and FDE decrease by 7.84 and 11.86, while RFS Frame and Cluster improve by 1.66 and 1.70. These gains are achieved with 18.5 fewer reasoning tokens and 0.32 s/frame lower inference latency on average, demonstrating the value of visually grounded, decision-focused supervision for VLM reasoning and planning in long-tail autonomous driving.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28366v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13781v1cs.CV공통 태그 Autonomous Driving, Trajectory Planning

SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.

arXiv:2610.11060v1cs.CV공통 태그 Autonomous Driving, Trajectory Planning

AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링

AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding

월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.

arXiv:2609.39995v2cs.LG공통 태그 Autonomous Driving, Trajectory Planning

계획하면서 설명하는 법 학습하기: 자율주행을 위한 규칙 정렬 디퓨전 플래닝

Learning to Explain While Planning: Rule-Aligned Diffusion Planning for Autonomous Driving

디퓨전 플래너(diffusion planner)는 다중 모달(multimodal) 궤적 생성에서 강력한 성능을 보여줍니다. 그러나 기존 방법들은 주로 전문가 시연 데이터에 의존하여 궤적 분포를 피팅하므로, 주행 규칙을 명시적으로 모델링하지 않은 채 장면, 행동, 궤적 간의 통계적 상관관계만을 학습합니다. 전문가 데이터가 희소한 롱테일(long-tail) 시나리오에서는 모방할 행동이 부족하여 안전성이나 규정 준수 요건을 위반하는 궤적으로 이어질 수 있습니다. 나아가 기존의 생성 과정에는 규칙 수준의 설명이 결여되어 있어, 어떤 규칙이 궤적 조정을 유도하는지, 언제 효력을 발휘하는지, 얼마나 강하게 작용하는지 파악하기 어려우며, 이에 따라 실패 진단, 안전성 검증(validation), 목표 지향적 개선이 제한됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 학습(training) 중 미분 가능한 주행 규칙을 디퓨전 목적 함수에 통합하여 유한한 시연 데이터를 넘어 규칙 지식을 내재적 행동 원칙으로 전환하는 규칙 정렬 디퓨전 플래너(Rule-Aligned Diffusion Planner, RADP)를 제안합니다. 또한 예측된 궤적에 대한 규칙 손실의 그래디언트로부터 지도 신호를 구성하고 경량 어트리뷰션 헤드를 활용하여 각 규칙이 가하는 최적화 압력을 온라인으로 추정하는 규칙 압력 어트리뷰션(Rule-Pressure Attribution, RPA)을 소개합니다. 이러한 어트리뷰션의 폐루프(closed-loop) 행동 연관성을 평가하기 위해, 현재의 규칙 압력이 후속 폐루프 실행 중 발생하는 해당 위험을 반영하는지 평가하는 시간적 위험 정렬 프로토콜을 제안합니다. nuPlan에 대한 실험 결과는 RADP가 까다로운 안전 필수 시나리오에서 폐루프 플래닝 성능을 향상시키며, RPA는 후속 규칙별 위험과 일관된 시간적 정렬을 보여 내재적 규칙 학습과 규칙 수준의 해석 가능성을 모두 입증함을 보여줍니다.

arXiv:2607.23511v1cs.CV공통 태그 Autonomous Driving, Trajectory Planning

MOJITO: 통합 종단간 자율 주행을 위한 모달리티 결합 학습

MOJITO: Modal Joint Learning for Unified End-to-End Autonomous Driving

종단간 자율 주행 시스템은 일반적으로 인지(perception) 단계가 다중 모달 센서 입력을 압축된 컨텍스트로 변환하고, 하류 플래너(planner)가 이 컨텍스트를 조건으로 궤적(trajectory)을 예측하는 2단계 캐스케이드 파이프라인을 따른다. 우리는 이러한 단방향 인지-계획 인터페이스가 센서 입력을 압축된 표현으로 강제하여, 계획에 중요한 세밀한 세부 정보를 잃게 한다고 주장한다. 또한 플래너를 이 압축된 컨텍스트로 제한함으로써, 최신 비전 기반 모델(vision foundation models)이 제공하는 풍부한 표현을 활용하기 어렵다. 이러한 문제를 해결하기 위해, 우리는 모달리티 결합 학습(modal joint learning)을 기반으로 한 종단간 자율 주행을 위한 통합 센서-액션(sensor-to-action) 프레임워크인 MOJITO를 제안한다. MOJITO는 캐스케이드 인터페이스를 제거하고, 대신 블록 단위(block-wise) Modal Joint Attention을 수행하여 액션(action), 이미지, LiDAR 특징(feature)을 동시에 갱신하고, 플래너가 액션 생성(action generation) 중 다중 모달 특징에 직접 접근할 수 있게 한다. MOJITO는 NAVSIM v1 데이터셋에서 88.9 PDMS, 더 도전적인 NAVSIM v2 데이터셋에서 88.4 EPDMS를 달성하여 새로운 최고 성능(state-of-the-art)을 기록했다. 광범위한 실험은 또한 강력한 확장성(scalability), 지시 따르기(instruction following), 다양한 궤적 생성을 입증한다. 코드와 모델은 https://github.com/mumucc01/MOJITO 에서 이용 가능하다.

arXiv:2607.24199v1cs.CV공통 태그 Autonomous Driving, chain-of-thought

규정 이해를 위한 추론: 교통 규칙 이해를 위한 사고의 연쇄(Chain-of-Thought)

Reasoning to Regulate: Chain-of-Thought for Traffic Rule Understanding

자율주행에서 교통 규정을 이해하고 준수하는 것은 안전에 매우 중요한 요구사항이지만, 교통 표지의 다양성과 문맥 의존성 때문에 여전히 어려운 과제로 남아 있다. 중요한 점은 규정 이해가 단순한 인식 과제가 아니라 추론 문제라는 것이다. 어떤 규칙이 적용되는지는 표지를 차선의 공간적 배치 및 장면 문맥과의 관계 속에서 해석하는 것에 달려 있다. 이러한 추론을 지원하기 위해 MapDR은 각 교통 표지의 규제 규칙을 해당 규칙이 적용되는 특정 차선과 연결하는 세밀한 주석을 제공한다. 그러나 기존 방법들은 대부분 이를 직접적인 시퀀스 예측으로 취급하여, 표지 의미와 지도 구조를 연결하는 근본적인 추론을 무시한다. 이러한 한계를 해결하기 위해, 우리는 이 과제에 추론을 명시적으로 통합하고 비전-언어(VLM) 모델에 사고의 연쇄(CoT) 능력을 부여하는 프레임워크를 제안한다. 먼저 2라운드 전략을 통해 강력한 대규모 언어 모델(LLM)로부터 근거(rationale)를 부트스트랩하고, VLM 기반 검증기를 사용해 잘못된 사례를 걸러내는 확장 가능한 CoT 큐레이션 파이프라인을 설계하여 고품질 (CoT, answer) 쌍을 확보한다. 이 기반 위에서 2단계 학습 방식을 채택한다: 근거에서 답변으로의 생성을 가르치는 지도 미세조정(SFT)에 이어, 답변 기반의 세밀한 보상을 사용하는 GRPO 강화학습으로 최종 답변 정확도를 더욱 향상시킨다. MapDR에 대한 광범위한 실험은 우리 접근법이 해석 가능성과 정확도를 모두 크게 개선함을 보여주며, 규정 인식(regulation-aware) 자율주행을 위한 최초의 추론 기반 프레임워크를 확립한다.

arXiv:2607.11529v1cs.CV공통 태그 Autonomous Driving, chain-of-thought

파싱, 탐색, 확인: 사고의 연쇄 추론과 구조화된 공간 메모리를 활용한 학습 불필요 항공 비전-대화 내비게이션

Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory

본 논문에서는 자원 효율적인 고고도 UAV 내비게이션을 위해 학습이 불필요한(training-free) 설정에서 항공 비전-대화 내비게이션(AVDN) 과제를 다룬다. 다중모달 대규모 언어 모델(MLLM)을 단순 적용하면 방향 그라운딩의 취약성과 명시적 공간 메모리의 부재로 인해 불안정한 내비게이션이 발생한다. 이러한 문제를 해결하기 위해, 우리는 파싱-탐색-확인(Parsing-Search-Confirmation)의 3단계 추론 파이프라인과 구조화된 공간 메모리(SSM)를 긴밀하게 결합한 학습 불필요 프레임워크 PSC-AVDN을 제안한다. 파싱 단계에서는 LLM을 사용하여 모호한 대화 지시를 안정적인 기하학적 방향 및 목적지 단서로 변환한다. 이후 탐색 사고의 연쇄(S-CoT)가 고고도 관측 하에서 단계적 목표 탐험(exploration)을 수행하고, 확인 사고의 연쇄(C-CoT)가 후보 영역 주변에서 세밀한 검증을 수행하여 시각적 모호성을 해소한다. 한편, SSM은 다중 스케일 시각 관측, 공간 시각 메모리, 구조화된 기하학적 메모리를 포함하는 세 가지 상호 보완적 공간 단서 소스를 통합하여 전역 공간 컨텍스트와 장기적 일관성을 제공한다. ANDH 및 ANDH-Full에 대한 광범위한 실험을 통해 PSC-AVDN이 학습 불필요 설정에서 새로운 최고 성능을 달성하며, 여러 파인튜닝 기법과 동등하거나 이를 능가함을 입증한다. 코드는 https://github.com/QY6616/PSC-AVDN 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.