arXiv:2411.10535

Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques

Urvishkumar Bharti, Vikram Shahapur

제출 2024-11-15

원문 초록

In autonomous driving, perception systems are piv otal as they interpret sensory data to understand the envi ronment, which is essential for decision-making and planning. Ensuring the safety of these perception systems is fundamental for achieving high-level autonomy, allowing us to confidently delegate driving and monitoring tasks to machines. This re port aims to enhance the safety of perception systems by examining and summarizing the latest advancements in vision based systems, and metrics for perception tasks in autonomous driving. The report also underscores significant achievements and recognized challenges faced by current research in this field. This project focuses on enhancing the understanding and navigation capabilities of self-driving robots through depth based perception and computer vision techniques. Specifically, it explores how we can perform better navigation into unknown map 2D map with existing detection and tracking algorithms and on top of that how depth based perception can enhance the navigation capabilities of the wheel based bots to improve autonomous driving perception.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15745v1cs.CV공통 태그 Autonomous Driving, Sensor Fusion

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2609.39995v2cs.LG공통 태그 Decision Making, Autonomous Driving

계획하면서 설명하는 법 학습하기: 자율주행을 위한 규칙 정렬 디퓨전 플래닝

Learning to Explain While Planning: Rule-Aligned Diffusion Planning for Autonomous Driving

디퓨전 플래너(diffusion planner)는 다중 모달(multimodal) 궤적 생성에서 강력한 성능을 보여줍니다. 그러나 기존 방법들은 주로 전문가 시연 데이터에 의존하여 궤적 분포를 피팅하므로, 주행 규칙을 명시적으로 모델링하지 않은 채 장면, 행동, 궤적 간의 통계적 상관관계만을 학습합니다. 전문가 데이터가 희소한 롱테일(long-tail) 시나리오에서는 모방할 행동이 부족하여 안전성이나 규정 준수 요건을 위반하는 궤적으로 이어질 수 있습니다. 나아가 기존의 생성 과정에는 규칙 수준의 설명이 결여되어 있어, 어떤 규칙이 궤적 조정을 유도하는지, 언제 효력을 발휘하는지, 얼마나 강하게 작용하는지 파악하기 어려우며, 이에 따라 실패 진단, 안전성 검증(validation), 목표 지향적 개선이 제한됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 학습(training) 중 미분 가능한 주행 규칙을 디퓨전 목적 함수에 통합하여 유한한 시연 데이터를 넘어 규칙 지식을 내재적 행동 원칙으로 전환하는 규칙 정렬 디퓨전 플래너(Rule-Aligned Diffusion Planner, RADP)를 제안합니다. 또한 예측된 궤적에 대한 규칙 손실의 그래디언트로부터 지도 신호를 구성하고 경량 어트리뷰션 헤드를 활용하여 각 규칙이 가하는 최적화 압력을 온라인으로 추정하는 규칙 압력 어트리뷰션(Rule-Pressure Attribution, RPA)을 소개합니다. 이러한 어트리뷰션의 폐루프(closed-loop) 행동 연관성을 평가하기 위해, 현재의 규칙 압력이 후속 폐루프 실행 중 발생하는 해당 위험을 반영하는지 평가하는 시간적 위험 정렬 프로토콜을 제안합니다. nuPlan에 대한 실험 결과는 RADP가 까다로운 안전 필수 시나리오에서 폐루프 플래닝 성능을 향상시키며, RPA는 후속 규칙별 위험과 일관된 시간적 정렬을 보여 내재적 규칙 학습과 규칙 수준의 해석 가능성을 모두 입증함을 보여줍니다.

arXiv:2610.01531v1cs.AI공통 태그 Decision Making, Autonomous Driving

자율주행을 위한 신뢰할 수 있는 비전-언어 모델을 향하여

Towards Reliable Vision-Language Models for Autonomous Driving

비전-언어 모델(VLM)은 장면 이해, 주행 추론, 의사결정, 엔드투엔드(end-to-end) 주행과 같은 작업을 위해 자율주행 분야에서 점점 더 활발히 탐색되고 있습니다. 이들의 역할이 더욱 두드러짐에 따라, 강건성(robustness)과 신뢰성(reliability)을 확보하는 것이 점차 중요해지고 있습니다. 실제 환경 조건에서는 센서 결함 및 환경적 요인으로 인해 시각적 입력이 저하될 수 있으며, 이는 모델의 예측과 그에 수반되는 신뢰도(confidence) 모두에 잠재적으로 영향을 미칠 수 있습니다. 이러한 저하는 안전이 핵심적인(safety-critical) 의사결정을 위해 모델이 정확한 예측을 수행하고 자신의 예측이 신뢰할 수 없는 경우를 인식해야 하는 자율주행에서 특히 우려되는 문제입니다. 본 연구에서는 단일 프레임, 다중 뷰(multi-view), 다중 프레임, 단안(monocular) 입력을 포함한 서로 다른 시각적 입력 설정을 갖춘 4개의 주행 관련 QA 데이터셋에 걸쳐 5종의 VLM(Qwen3.5-9B, Gemma4-E4B, LLaVA-OneVision-7B, DriveFusion/DriveFusionQA-4B, NVIDIA Alpamayo-1.5-10B)을 평가합니다. 실험 결과, 시각적 손상(visual corruption)의 영향은 모델, 데이터셋, 입력 설정에 따라 다양하게 나타났으며, 정확도와 신뢰도 신뢰성의 변화 또한 조건에 따라 상이함을 보여줍니다. 이어서 우리는 최근의 추론(inference) 시점 기법인 Visual Evidence Augmentation($\mathrm{V}{\scriptstyle \mathrm{EA}}$)을 적용하여, 저하된 시각적 조건에서 모델 신뢰성을 향상시킬 수 있는지 살펴봅니다. 그 결과 $\mathrm{V}{\scriptstyle \mathrm{EA}}$가 일부 모델과 데이터셋에서 성능을 향상시키지만, 모든 설정에서 일관되게 향상되는 것은 아님을 확인했습니다.

arXiv:2609.28064v1cs.AI공통 태그 Decision Making, Autonomous Driving

SlackDrive: 적응형 주행 추론을 위한 런타임 슬랙 회수

SlackDrive: Reclaiming Runtime Slack for Adaptive Driving Inference

주행 world-action 모델은 다중모달 추론과 미래 예측을 결합해 계획(planning)을 개선하지만, 커지는 추론 비용은 차량 제어의 실시간 지연(latency) 요구와 점점 더 충돌한다. 기존 가속 방법은 배포 전에 선택된 정책으로 토큰, 레이어, 또는 샘플링 단계를 줄이지만, 공유 온보드 컴퓨트에서 오프라인 프로파일링과 정적 스케줄링 이후 잔여 런타임 변동은 대부분 활용하지 못한다. 우리는 허용 가능한 최대 컴퓨트 예산이 잔여 런타임 상태에 따라 체계적으로 달라지며, 최근 실현 지연(latency)이 가용 컴퓨트 슬랙(slack)에 대한 직접적인 신호를 제공함을 관찰한다. 이 관찰에 기반해, 우리는 실현 지연을 재사용하여 모델 실행 전 각 제어 단계의 컴퓨트 예산을 고르는 추론 전(pre-inference) 컴퓨트 할당기 SlackDrive를 제안한다. SlackDrive는 작은 이산 예산 집합에 대한 지연과 계획(planning) 유틸리티를 한 번 프로파일링하고, 완료된 forward로부터 온라인 컴퓨트 상태를 추정하며, 허용 가능한 지연(latency) envelope 안에 남을 것으로 예측되는 최고 유틸리티 예산을 선택해 주행 백본과 그 컴퓨트 액추에이터는 유지한 채 기존 프로파일링 및 리소스 스케줄링을 보완한다. NAVSIM v2에서 DriveDreamer-Policy와 함께 평가할 때 SlackDrive는 엄격한 지연 체제 하에서 최강 기준선 대비 지연 제약 EPDMS를 21.7% 개선했으며, 전체 예산 모델과 사전 구성된 토큰 가지치기 기준선은 런타임 경합 하에서 허용 가능한 지연 envelope를 초과했다.

arXiv:2609.24631v1cs.RO공통 태그 Decision Making, Autonomous Driving

의미적 의사결정에서 실현 가능한 궤적으로: 협소 공간 주차를 위한 자기 진화형 LLM 기반 최적 제어

From Semantic Decisions to Feasible Trajectories: Self-Evolving LLM-Guided Optimal Control for Narrow-Space Parking

비볼록(nonconvex)하고 협소한 환경에서의 자율 주차는 여전히 어려운 과제로 남아 있다. 최적 제어(optimal control) 기법은 차량 동역학과 충돌 제약 조건을 명시적으로 강제할 수 있지만, 비볼록성은 솔버(solver)의 강건성을 저하시켜 실패를 유발할 수 있다. 대규모 언어 모델(LLM)은 강력한 의미적 추론 능력을 보이지만, 조밀한 궤적을 직접 생성할 경우 물리적 실현 가능성을 보장하기 어렵다. 우리는 LLM이 상위 수준의 이산적 기동(maneuver) 결정을 내리고, 최적 제어 모듈이 하위 수준의 차량 동역학과 충돌 제약 조건을 강제하는 통합 프레임워크인 SE-LLM-OCP를 제안한다. 온라인 단계에서 LLM은 희소한(sparse) 기동 계획을 제안하여 주차 과제를 일련의 단기(short-horizon) 궤적 최적화 문제들로 분해한다. 그런 다음 하위 수준 솔버가 최적 제어 문제들을 순차적으로 해결한다. 솔버가 실패하면 LLM은 솔버 및 검증 단계에서 얻은 실패 증거를 종합하여 재계획(replanning)을 안내한다. 오프라인 단계에서 SE-LLM-OCP는 누적된 온라인 실패 사례를 바탕으로 구조화된 의사결정 지식 베이스를 처음부터 자동으로 진화시킨다. 우리는 제안한 프레임워크를 자동차형 차량 모델과 차동 구동(differential-drive) 로봇에 대한 시뮬레이션에서 검증한다. 실험 결과, SE-LLM-OCP는 협소한 시나리오에서 더 안전한 자율 주차를 가능하게 하며, 동일한 기동 표현이 서로 다른 운동학적(kinematic) 플랫폼으로 전이될 수 있음을 보여준다.

arXiv:2609.24526v1cs.CV공통 태그 Decision Making, Autonomous Driving

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

토론

이 논문과 연결된 포럼 글이 아직 없습니다.