What's Hidden Matters: Identifying Planning-Critical Occluded Agents using Vision-Language Models
원문 초록
Autonomous vehicles must safely navigate complex environments where planning-critical agents may be hidden from view. Current approaches often treat all occlusions with uniform conservatism, yielding needlessly defensive driving, or they infer hidden spaces without estimating the impact on the planner. This work bridges the critical gap between perception and planning by enabling Vision-Language Models (VLMs) to identify and reason about the specific hidden agents that are most critical to the ego-vehicle's trajectory. We introduce a novel framework that uses Planning KL-divergence (PKL), an information-theoretic metric, to systematically identify and rank occluded agents based on their impact on the ego vehicle's plan. Using this planning-aware ranking, we employ an expert VLM (GPT-5) to generate rich, structured annotations that capture the visual evidence and reasoning required for this task. We apply this framework to the nuScenes dataset to create a new benchmark focused on high-impact scenarios. We conduct comprehensive experiments on a wide range of general-purpose and domain-adapted VLMs, demonstrating that fine-tuning on our PKL-guided data yields dramatic performance improvements across all models. Notably, our results show that smaller, fine-tuned models significantly outperform their much larger zero-shot counterparts, and that our PKL-guided data selection strategy improves performance by approximately 30\% over random sampling. Our work presents the first systematic approach for training VLMs to focus on planning-critical occlusions, enabling more semantically grounded and efficient risk assessment in autonomous driving.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.00283v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
STAR: 엔드투엔드 인지 레이더를 향한 장면 및 태스크 인지형 4D 레이더 전처리
STAR: Scene- and Task-Aware 4D Radar Preprocessing Towards End-to-End Cognitive Radar
4차원(4D) 레이더(Radar)는 조도 변화와 악천후 조건에서도 견고함을 유지하면서 거리, 방위각, 고각 및 도플러 측정값을 제공하여 환경 인식을 위한 핵심 센서로 부상했습니다. 그러나 일정한 오경보율(CFAR) 검출과 같은 기존의 레이더 전처리 방식은 주로 신호 수준의 기준에 따라 측정값을 선택하므로, 포인트 클라우드 생성 과정에서 다운스트림 인식에 유용한 정보를 폐기할 수 있습니다. 또한 기존의 4D 레이더 인식 파이프라인은 일반적으로 레이더 데이터 처리와 다운스트림 인식을 독립적으로 최적화하므로, 태스크 목표가 전처리 단계를 직접적으로 유도하지 못합니다. 이러한 한계를 해결하기 위해 본 논문에서는 엔드투엔드 학습(training) 프레임워크와 함께 장면 및 태스크 인지형 레이더(STAR) 전처리기를 제안합니다. STAR 전처리기는 장면 컨텍스트와 다운스트림 태스크 목표를 통합하여 태스크 관련 레이더 포인트를 생성함으로써, 레이더 표현이 인식에 맞춰 직접 최적화될 수 있도록 합니다. K-Radar 벤치마크에서 제안하는 방식은 74.3 AP를 달성하여 이전 최고 수준(SOTA)보다 5.6 AP 포인트 앞서는 성능을 보였습니다. 나아가 STAR로 생성된 태스크 관련 포인트를 다양한 기존 3D 검출기에 적용했을 때 대부분의 평가 설정에서 검출 성능이 향상되었으며, 기존 전처리로 생성된 포인트 클라우드 대비 전반적으로 긍정적인 평균 이득을 얻었습니다.
SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측
SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts
다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
연결 관계 개선을 통한 격차 해소: 자율주행 장면 토폴로지를 위한 신뢰할 수 있는 향상 프레임워크
Refine Connections, Close the Gap: A Reliable Enhancement Framework for Driving Scene Topology
자율주행에서 차선과 교통 요소 간의 연결성을 의미하는 장면 토폴로지(scene topology)를 이해하는 것은 안전한 경로 계획과 모션 제어에 매우 중요합니다. 현재 방법들은 개별 지도 요소를 탐지하는 데는 뛰어나지만, 연결성 추론은 이론적 잠재력에 미치지 못하는 경우가 많아 기본 탐지 성능을 감안할 때 달성 가능한 이론적 상한선과 비교해 상당한 성능 격차를 남깁니다. 나아가 다운스트림 태스크로 전달되는 의사결정용 토폴로지 그래프는 여전히 신뢰하기 어려운 경우가 많습니다. 기존 접근 방식은 일반적으로 연속적인 토폴로지 점수에 임계값을 적용하여 연결성을 도출하지만, 이러한 점수는 실제 연결성의 논리적 가능도(likelihood)를 제대로 반영하지 못하여 오탐(false positive)이나 누락된 연결을 초래하곤 합니다. 기존 벤치마크 또한 의사결정에 필요한 이산적 연결성을 평가하기보다 주로 연속적 지표를 평가함으로써 이 문제를 간과하고 있습니다. 이러한 격차를 해소하기 위해, 기존 방법들의 잠재력을 끌어내고 의사결정용 토폴로지의 신뢰성을 높이도록 설계된 새로운 토폴로지 향상 프레임워크인 TopoEnhance를 제안합니다. 본 연구는 토폴로지 향상을 디노이징 기반 재구성 과정으로 정식화하며, 여기서 모델(model)은 확률적으로 훼손된 정답 그래프로부터 구조적 일관성을 복원하는 방법을 학습합니다. 이러한 정식화를 통해 모델은 논리적 불일치를 해결하고 신뢰할 수 없는 연결을 바로잡아, 이론적 최대 성능에 근접하는 견고한 이산 토폴로지 그래프를 생성할 수 있습니다. 다양한 베이스라인에 걸친 광범위한 실험 결과, TopoEnhance는 연속적 토폴로지 지표(TOP 점수)와 본 연구에서 조정한 토폴로지 자카드 유사도(TJS) 지표로 측정한 이산적 연결성 모두를 일관되게 향상시키는 것으로 나타났습니다. 유연하고 소스에 구애받지 않는(source-agnostic) 프레임워크인 TopoEnhance는 재학습 없이도 다양한 최신 베이스라인 전반에 걸쳐 상당한 성능 향상을 제공합니다.
AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링
AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding
월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.
장기 객체 탐색을 위한 회고적 개방형 어휘 메모리
Retrospective Open-Vocabulary Memory for Long-Term Object Search
장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.