Physics and semantic informed multi-sensor calibration via optimization theory and self-supervised learning
원문 초록
Achieving safe and reliable autonomous driving relies greatly on the ability to achieve an accurate and robust perception system; however, this cannot be fully realized without precisely calibrated sensors. Environmental and operational conditions as well as improper maintenance can produce calibration errors inhibiting sensor fusion and, consequently, degrading the perception performance. Traditionally, sensor calibration is performed in a controlled environment with one or more known targets. Such a procedure can only be carried out in between drives and requires manual operation; a tedious task if needed to be conducted on a regular basis. This sparked a recent interest in online targetless methods, capable of yielding a set of geometric transformations based on perceived environmental features, however, the required redundancy in sensing modalities makes this task even more challenging, as the features captured by each modality and their distinctiveness may vary. We present a holistic approach to performing joint calibration of a camera-lidar-radar trio. Leveraging prior knowledge and physical properties of these sensing modalities together with semantic information, we propose two targetless calibration methods within a cost minimization framework once via direct online optimization, and second via self-supervised learning (SSL).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자율주행을 위한 전천후 자기지도 깊이 추정의 견고성 향상
Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving
다양한 악천후 조건에서 센서 지각 성능 저하로 인해, 안전한 자율주행을 위한 자기지도 깊이 추정은 어려운 과제이다. 이러한 어려움은 두 가지 주요 측면에서 기인한다. 첫째, 악천후 조건은 픽셀 대응을 왜곡하고 자기지도 손실 함수에 내재된 가정을 위반하여 잘못된 깊이 예측을 초래할 수 있다. 둘째, 레이더는 악천후 조건에서 널리 채택되는 센서이지만, 시점(Point of View, POV)에서 레이더 포인트의 희소한 분포는 자기지도 융합에 어려움을 야기한다. 이러한 문제를 해결하기 위해, 우리는 다중 교사 증류와 견고한 레이더 융합을 통해 페어링되지 않은 실제 전천후 데이터를 활용하는 새로운 자기학습(self-training) 파이프라인을 제안한다. 우리는 서로 다른 악천후 조건 입력으로 다양한 교사 모델을 생성하는 불확실성 인식 다중 교사 증류(Uncertainty-Aware Multi-Teacher Distillation) 방법을 제안하고, 불확실성 모델링을 통해 지식 증류 손실의 가중치를 부여한다. 또한, 카메라 픽셀 광선 제약을 활용하여 카메라의 시점(POV)과 레이더의 조감도(Bird's-Eye View, BEV) 간의 연결을 수립하는 POV-BEV 레이더 융합 접근법을 설계한다. 이 접근법은 더 조밀한 레이더 포인트의 활용을 가능하게 하며, POV와 BEV의 상보적인 관점을 효과적으로 포착한다. 광범위한 정량적 및 정성적 실험은 전천후 데이터셋에서 제안 방법의 견고성을 보여주며, 최신(state-of-the-art) 성능을 달성한다. 코드와 모델은 https://github.com/MICLAB-BUPT/RobustDepth 에서 제공된다.
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.
SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측
SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts
다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.
보이지 않는 흔적 추적하기: 열화상-RGB 융합을 통한 자기지도 바퀴 자국 검출
Tracking the Invisible: Self-Supervised Wheel Track Detection with Thermal-RGB Fusion
주행 가능 영역의 정밀한 검출은 자율주행 및 첨단 운전자 보조 시스템(ADAS)에 필수적입니다. 최신 기법들은 일반적인 주행 가능성 추정에 집중하지만, 기존 바퀴 자국(wheel track)을 따라가는 것이 견인력 향상, 예측 가능한 차량 동역학, 검증된 경로 안정성과 같은 중요한 이점을 제공하는 눈 덮인 도로에서는 불충분한 것으로 나타났습니다. 이를 해결하기 위해 본 논문에서는 동기화된 RGB-I(RGB + 장파장 적외선) 영상을 활용하여 안전에 핵심적인 바퀴 자국을 검출하는 저비용 자기지도(self-supervised) 접근법을 제안합니다. 제안 기법은 기록된 GNSS 데이터로부터 미래 바퀴 궤적을 투영하여 학습(training) 라벨을 자동으로 생성합니다. 또한 화이트아웃이 발생한 까다로운 노면의 4채널 RGB-I 영상으로부터 바퀴 자국을 식별하도록 신경망(neural network)을 설계했습니다. 실험 결과는 시각적으로 단조롭고 특징이 부족한 열악한 환경(environment)에서 본 접근법의 효과성을 입증하며, 겨울철 자율주행을 위한 강건하고 비용 효율적인 대안을 제시합니다. 새롭게 소개된 ThermalTrack 데이터셋(dataset)은 https://digitalcommons.mtu.edu/thermaltrack/ 에서 이용할 수 있습니다.
ForeDrive: 계획 관련 잠재 월드 모델을 활용한 예측 유도형 엔드투엔드 자율주행
ForeDrive: Foresight-Guided End-to-End Autonomous Driving with a Planning-Relevant Latent World Model
기존 잠재 월드 모델(latent world model)은 일반적으로 미래 예측 가능성에 맞춰 최적화되지만, 그 결과로 얻어지는 표현(representation)이 자율주행의 계획 수립에 반드시 유용한 것은 아닙니다. 예측값은 궤적 생성을 위한 직접적인 조건화 신호로 사용되기보다는 사전학습(pre-training)이나 보조적인 지도 신호로 활용되는 것이 일반적입니다. 본 논문에서는 계획 관련 잠재 표현을 학습하고 이를 확산 트랜스포머(Diffusion Transformer, DiT) 플래너와 비대칭적으로 결합하는 ForeDrive를 제안합니다. 이 플래너는 JEPA 스타일의 월드 모델로 학습된 다중 시계 잠재 미래 표현(multi-horizon latent future representation)을 입력받으며, 계획 수립 그래디언트는 공유 온라인 인코더를 업데이트하는 반면, 그래디언트 중단(stop-gradient) 라우팅을 통해 잠재 예측기(latent predictor)는 예측 손실만으로 학습됩니다. 예측된 미래는 시계(horizon)에 따라 신뢰도가 상이하고 BEV 궤적은 이미지 토큰과 정렬되지 않으므로, 게이트형 시각 융합(gated visual fusion), 미래 상태 주입(future-status injection), 궤적 적응형 바이어스(Trajectory-Adaptive Bias, TAB)를 사용하여 현재 관측값을 덮어쓰지 않고 미래 잠재 변수를 유도 신호로 주입합니다. 순수 모방 학습(imitation learning)으로 학습되고 추론 시 현재 전방 뷰 이미지만을 시각적 입력으로 사용함에도 불구하고, ForeDrive는 강화학습이나 외부 궤적 스코어러 없이도 NAVSIM v1에서 89.9 PDMS, NAVSIM v2에서 단일 단계(one-stage) 90.0 EPDMS를 달성합니다.
종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습
Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.