arXiv:2402.19341

RoadRunner -- Learning Traversability Estimation for Autonomous Off-road Driving

Jonas Frey, Manthan Patel, Deegan Atha, Julian Nubert, David Fan, Ali Agha, Curtis Padgett, Patrick Spieler, Marco Hutter, Shehryar Khattak

제출 2024-02-29

원문 초록

Autonomous navigation at high speeds in off-road environments necessitates robots to comprehensively understand their surroundings using onboard sensing only. The extreme conditions posed by the off-road setting can cause degraded camera image quality due to poor lighting and motion blur, as well as limited sparse geometric information available from LiDAR sensing when driving at high speeds. In this work, we present RoadRunner, a novel framework capable of predicting terrain traversability and an elevation map directly from camera and LiDAR sensor inputs. RoadRunner enables reliable autonomous navigation, by fusing sensory information, handling of uncertainty, and generation of contextually informed predictions about the geometry and traversability of the terrain while operating at low latency. In contrast to existing methods relying on classifying handcrafted semantic classes and using heuristics to predict traversability costs, our method is trained end-to-end in a self-supervised fashion. The RoadRunner network architecture builds upon popular sensor fusion network architectures from the autonomous driving domain, which embed LiDAR and camera information into a common Bird's Eye View perspective. Training is enabled by utilizing an existing traversability estimation stack to generate training data in hindsight in a scalable manner from real-world off-road driving datasets. Furthermore, RoadRunner improves the system latency by a factor of roughly 4, from 500 ms to 140 ms, while improving the accuracy for traversability costs and elevation map predictions. We demonstrate the effectiveness of RoadRunner in enabling safe and reliable off-road navigation at high speeds in multiple real-world driving scenarios through unstructured desert environments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15745v1cs.CV공통 태그 Autonomous Driving, Sensor Fusion

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2607.23755v1cs.CV공통 태그 Autonomous Driving, Sensor Fusion

DAP-Pose: 강건한 포즈 추정을 위한 심층 시간 정렬 및 물리 인식 교차 모달 센서 퓨전

DAP-Pose: Deep Temporal Alignment and Physics-aware Cross-modal Sensor Fusion for Robust Pose Estimation

복잡한 환경에서 자율주행차와 이동 로봇 시스템을 위해 다중 모달 센서를 이용한 강건하고 정확한 포즈 추정은 근본적으로 중요하다. 본 논문에서는 강건한 다중 모달 포즈 추정을 위한 통합 end-to-end 모델인 DAP-Pose를 제안한다. DAP-Pose는 시각, 관성, GNSS 측정값으로부터 상보적인 의미적 및 기하학적 움직임 단서를 포착하는 이중 수준 교차 모달 퓨전(Bi-level Cross-modal Fusion, BCF) 모듈을 도입한다. 시간 오프셋을 처리하기 위해, 잠재 공간에서 비동기 스트림을 명시적으로 정렬하여 엄격한 하드웨어 동기화 없이도 일관된 움직임 모델링을 가능하게 하는 심층 시간 정렬(Deep Temporal Alignment, DTA) 모듈을 설계했다. 또한, 매니폴드 기하학과 GNSS 기반 절대 메트릭 스케일을 통해 물리 인식 제약을 통합하여 움직임 일관성을 강제하고 드리프트를 완화한다. 공개 KITTI 벤치마크 데이터셋에서 DAP-Pose의 성능을 기존 방법들과 비교 평가하기 위한 실험을 수행했다. DAP-Pose는 최신(state-of-the-art) 성능을 달성했으며, 평균 변위 오차($t_{rel}$) 1.31%, 회전 오차($r_{rel}$) 0.46$^{\circ}$로 가장 낮은 수치를 기록했다. 또한, 인위적으로 주입된 심각한 시간 불일치 하에서도 포즈를 정확하게 추정하고 강건한 성능을 유지한다.

arXiv:2607.23962v1cs.CV공통 태그 Autonomous Driving, Sensor Fusion

자율주행 차량 내비게이션을 위한 비전-언어 모델 기반 GNSS 스푸핑 탐지 개발

Development of Vision-Language Model-based GNSS Spoofing Detection for Autonomous Vehicle Navigation

자율주행 차량(AV)은 위치 추정 및 항법을 위해 위성항법시스템(GNSS)에 의존하므로, 차량을 은밀하게 다른 경로로 유도하거나 위험한 기동을 유발할 수 있는 스푸핑 공격에 취약하다. 본 논문에서는 전방 카메라 시각 데이터와 차량 내 센서 측정값(예: 속도, 가속도, 요율)을 GNSS에서 유도된 기동과 융합하여, 자율주행 차량의 GNSS 스푸핑 탐지를 위한 최초의 비전-언어 모델(VLM) 기반 프레임워크를 개발한다. 우리 접근법은 먼저 시각적 단서를 그라운딩하고, 이어 공유 의미 공간 내에서 센서 데이터를 보정하여 세 가지 공격 시나리오에 걸쳐 예측된 기동과 GNSS에서 유도된 기동 간의 불일치를 탐지하는 3단계 미세조정 과정을 도입한다. 또한 앨라배마주 터스커루사(Tuscaloosa, Alabama)의 공공 도로에서 계측 장비가 탑재된 차량을 주행하며 시간 동기화된 GNSS, IMU, 카메라 로그를 수집해 독립적인 실세계 데이터셋을 생성하고, 학습 데이터와 다른 미관측 데이터에 대한 미세조정 모델의 지역 간 일반화를 검증했다. 이 데이터셋에서 잘못된 방향 전환 공격을 위한 도로망 스냅핑을 적용한 궤적 미러링, 오버슈트 시나리오를 위한 위치 동결, 정지 공격을 위한 드리프트 생성 등 지능형 스푸핑 공격을 생성했다. 이 검증 데이터셋에서 제로샷 VLM 기준선의 F1-score는 23%에서 32% 범위인 반면, 우리의 미세조정 모델은 94%에서 95% 범위의 F1-score를 달성했다. 결과는 우리의 VLM 기반 접근법이 모든 잘못된 방향 전환 및 정지 공격을 올바르게 분류했으며, 오버슈트 공격에 대해 88%-93%의 정확도를 달성함을 보여준다. 또한 VLM 호출을 14%로 줄여(약 86%의 연산량 감소) 4초 윈도우당 65ms-73ms를 달성하는 적응형 추론 정책을 도입한다. 이 결과는 VLM을 활용하여 신호 수준 무결성 검사를 보완하는 실용적인 도로 주행 방어 층을 시사한다.

arXiv:2607.22172v1cs.CV공통 태그 Autonomous Driving, Sensor Fusion

JustDepth: 단일 스캔 LiDAR 지도를 활용한 실시간 레이더-카메라 깊이 추정

JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

자율주행 시스템에서 레이더-카메라 인식을 위해 정확하면서도 낮은 지연의 깊이 추정이 필수적이다. 카메라는 풍부한 외관 정보를 제공하지만 메트릭 스케일이 부족한 반면, 자동차용 레이더는 메트릭 거리 정보를 제공하지만 희소하고 노이즈가 많다. 많은 파이프라인은 다단계 구조이거나 보조 어노테이션에 의존하여 지연을 증가시키고 이식성을 제한한다. 본 연구에서는 레이더, 카메라, 단일 스캔 LiDAR만으로 학습되는 단일 단계 레이더-카메라 깊이 추정기 JustDepth를 제안한다. 모든 레이더 반사값은 고정 너비 1D 표현으로 집계되어 런타임이 포인트 수와 분리된다. Height Fusion Block이 모달리티를 융합하고, 경량 GNN이 깊이를 전역적으로 전파하며, 학습 전용 신뢰도 디코더가 테스트 시 추가 비용 없이 학습을 안정화한다. 간단한 증강을 통해 줄무늬 아티팩트를 완화하고, 수직-수평 그래디언트 비율(Vertical-Horizontal Gradient Ratio, VHGR)로 이를 정량화한다. nuScenes에서 최근 최신 방법들과 비교했을 때 JustDepth는 정확도를 유지하면서 추론 시간을 39.7배 단축하고 VHGR 기준 줄무늬 아티팩트를 66% 감소시킨다.

arXiv:2607.21526v1cs.CV공통 태그 Autonomous Driving, Sensor Fusion

자율주행을 위한 전천후 자기지도 깊이 추정의 견고성 향상

Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving

다양한 악천후 조건에서 센서 지각 성능 저하로 인해, 안전한 자율주행을 위한 자기지도 깊이 추정은 어려운 과제이다. 이러한 어려움은 두 가지 주요 측면에서 기인한다. 첫째, 악천후 조건은 픽셀 대응을 왜곡하고 자기지도 손실 함수에 내재된 가정을 위반하여 잘못된 깊이 예측을 초래할 수 있다. 둘째, 레이더는 악천후 조건에서 널리 채택되는 센서이지만, 시점(Point of View, POV)에서 레이더 포인트의 희소한 분포는 자기지도 융합에 어려움을 야기한다. 이러한 문제를 해결하기 위해, 우리는 다중 교사 증류와 견고한 레이더 융합을 통해 페어링되지 않은 실제 전천후 데이터를 활용하는 새로운 자기학습(self-training) 파이프라인을 제안한다. 우리는 서로 다른 악천후 조건 입력으로 다양한 교사 모델을 생성하는 불확실성 인식 다중 교사 증류(Uncertainty-Aware Multi-Teacher Distillation) 방법을 제안하고, 불확실성 모델링을 통해 지식 증류 손실의 가중치를 부여한다. 또한, 카메라 픽셀 광선 제약을 활용하여 카메라의 시점(POV)과 레이더의 조감도(Bird's-Eye View, BEV) 간의 연결을 수립하는 POV-BEV 레이더 융합 접근법을 설계한다. 이 접근법은 더 조밀한 레이더 포인트의 활용을 가능하게 하며, POV와 BEV의 상보적인 관점을 효과적으로 포착한다. 광범위한 정량적 및 정성적 실험은 전천후 데이터셋에서 제안 방법의 견고성을 보여주며, 최신(state-of-the-art) 성능을 달성한다. 코드와 모델은 https://github.com/MICLAB-BUPT/RobustDepth 에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.