보이지 않는 흔적 추적하기: 열화상-RGB 융합을 통한 자기지도 바퀴 자국 검출
Tracking the Invisible: Self-Supervised Wheel Track Detection with Thermal-RGB Fusion
한국어 초록
주행 가능 영역의 정밀한 검출은 자율주행 및 첨단 운전자 보조 시스템(ADAS)에 필수적입니다. 최신 기법들은 일반적인 주행 가능성 추정에 집중하지만, 기존 바퀴 자국(wheel track)을 따라가는 것이 견인력 향상, 예측 가능한 차량 동역학, 검증된 경로 안정성과 같은 중요한 이점을 제공하는 눈 덮인 도로에서는 불충분한 것으로 나타났습니다. 이를 해결하기 위해 본 논문에서는 동기화된 RGB-I(RGB + 장파장 적외선) 영상을 활용하여 안전에 핵심적인 바퀴 자국을 검출하는 저비용 자기지도(self-supervised) 접근법을 제안합니다. 제안 기법은 기록된 GNSS 데이터로부터 미래 바퀴 궤적을 투영하여 학습(training) 라벨을 자동으로 생성합니다. 또한 화이트아웃이 발생한 까다로운 노면의 4채널 RGB-I 영상으로부터 바퀴 자국을 식별하도록 신경망(neural network)을 설계했습니다. 실험 결과는 시각적으로 단조롭고 특징이 부족한 열악한 환경(environment)에서 본 접근법의 효과성을 입증하며, 겨울철 자율주행을 위한 강건하고 비용 효율적인 대안을 제시합니다. 새롭게 소개된 ThermalTrack 데이터셋(dataset)은 https://digitalcommons.mtu.edu/thermaltrack/ 에서 이용할 수 있습니다.
원문 초록
Accurate detection of drivable area is essential for autonomous driving and advanced driver assistance systems. While state-of-the-art methods focus on general traversability estimation, they prove inadequate for snow-covered roads where following existing wheel tracks offers crucial advantages: improved traction, predictable vehicle dynamics, and verified path stability. To address this, we propose a low-cost, self-supervised approach detecting safety-critical wheel tracks using synchronized RGB-I (RGB + Long-Wave Infrared) imagery. Our method automatically generates training labels by projecting future wheel trajectories from recorded GNSS data. A neural network is designed to identify wheel tracks with the 4-channel RGB-I images from challenging, white-out road surfaces. Experimental results demonstrate the effectiveness of our approach in visually monotonous and featureless adverse environment, offering a robust and cost-effective alternative for winter autonomy. The newly introduced ThermalTrack dataset is available at: https://digitalcommons.mtu.edu/thermaltrack/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ForeDrive: 계획 관련 잠재 월드 모델을 활용한 예측 유도형 엔드투엔드 자율주행
ForeDrive: Foresight-Guided End-to-End Autonomous Driving with a Planning-Relevant Latent World Model
기존 잠재 월드 모델(latent world model)은 일반적으로 미래 예측 가능성에 맞춰 최적화되지만, 그 결과로 얻어지는 표현(representation)이 자율주행의 계획 수립에 반드시 유용한 것은 아닙니다. 예측값은 궤적 생성을 위한 직접적인 조건화 신호로 사용되기보다는 사전학습(pre-training)이나 보조적인 지도 신호로 활용되는 것이 일반적입니다. 본 논문에서는 계획 관련 잠재 표현을 학습하고 이를 확산 트랜스포머(Diffusion Transformer, DiT) 플래너와 비대칭적으로 결합하는 ForeDrive를 제안합니다. 이 플래너는 JEPA 스타일의 월드 모델로 학습된 다중 시계 잠재 미래 표현(multi-horizon latent future representation)을 입력받으며, 계획 수립 그래디언트는 공유 온라인 인코더를 업데이트하는 반면, 그래디언트 중단(stop-gradient) 라우팅을 통해 잠재 예측기(latent predictor)는 예측 손실만으로 학습됩니다. 예측된 미래는 시계(horizon)에 따라 신뢰도가 상이하고 BEV 궤적은 이미지 토큰과 정렬되지 않으므로, 게이트형 시각 융합(gated visual fusion), 미래 상태 주입(future-status injection), 궤적 적응형 바이어스(Trajectory-Adaptive Bias, TAB)를 사용하여 현재 관측값을 덮어쓰지 않고 미래 잠재 변수를 유도 신호로 주입합니다. 순수 모방 학습(imitation learning)으로 학습되고 추론 시 현재 전방 뷰 이미지만을 시각적 입력으로 사용함에도 불구하고, ForeDrive는 강화학습이나 외부 궤적 스코어러 없이도 NAVSIM v1에서 89.9 PDMS, NAVSIM v2에서 단일 단계(one-stage) 90.0 EPDMS를 달성합니다.
종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습
Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계
SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
자율주행을 위한 전천후 자기지도 깊이 추정의 견고성 향상
Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving
다양한 악천후 조건에서 센서 지각 성능 저하로 인해, 안전한 자율주행을 위한 자기지도 깊이 추정은 어려운 과제이다. 이러한 어려움은 두 가지 주요 측면에서 기인한다. 첫째, 악천후 조건은 픽셀 대응을 왜곡하고 자기지도 손실 함수에 내재된 가정을 위반하여 잘못된 깊이 예측을 초래할 수 있다. 둘째, 레이더는 악천후 조건에서 널리 채택되는 센서이지만, 시점(Point of View, POV)에서 레이더 포인트의 희소한 분포는 자기지도 융합에 어려움을 야기한다. 이러한 문제를 해결하기 위해, 우리는 다중 교사 증류와 견고한 레이더 융합을 통해 페어링되지 않은 실제 전천후 데이터를 활용하는 새로운 자기학습(self-training) 파이프라인을 제안한다. 우리는 서로 다른 악천후 조건 입력으로 다양한 교사 모델을 생성하는 불확실성 인식 다중 교사 증류(Uncertainty-Aware Multi-Teacher Distillation) 방법을 제안하고, 불확실성 모델링을 통해 지식 증류 손실의 가중치를 부여한다. 또한, 카메라 픽셀 광선 제약을 활용하여 카메라의 시점(POV)과 레이더의 조감도(Bird's-Eye View, BEV) 간의 연결을 수립하는 POV-BEV 레이더 융합 접근법을 설계한다. 이 접근법은 더 조밀한 레이더 포인트의 활용을 가능하게 하며, POV와 BEV의 상보적인 관점을 효과적으로 포착한다. 광범위한 정량적 및 정성적 실험은 전천후 데이터셋에서 제안 방법의 견고성을 보여주며, 최신(state-of-the-art) 성능을 달성한다. 코드와 모델은 https://github.com/MICLAB-BUPT/RobustDepth 에서 제공된다.
PerceptDrive: 엔드투엔드 자율주행을 위한 적응형 전문가 라우팅 기반 인지 사전 세계-행동 모델링
PerceptDrive: Perception Prior World-Action Modeling with Adaptive Expert Routing for End-to-End Autonomous Driving
고정(frozen)된 인지(perception) 기반 모델(foundation model)은 풍부한 기하학적, 의미적, 동적 지식을 인코딩한다. 그러나 좁은 조건화(conditioning) 인터페이스는 과업 관련 단서를 약화시킬 수 있으며, 정적 융합(static fusion)은 장면별로 전문가(expert) 기여를 조정할 수 없다. 우리는 이 과제를 사전(prior)-to-plan 전이(transfer) 문제로 규정하고, 적응형 전문가 라우팅을 갖춘 인지 사전 세계-행동 모델링 프레임워크인 PerceptDrive를 제안한다. PerceptDrive는 고정된 운전(driving) 적응 제공자(provider)로부터 교사 증류(teacher-distilled) 사전과, 고정된 자기지도(self-supervised) 비디오 인코더로부터의 밀집 관측 잠재(dense observation latents)를 학습 가능한 전문가 라우팅 세계-행동 모델에 입력한다. 전문가별 쿼리 분기(query branch)가 이 신호들을 처리하며, 사전 유지(prior-retention) 목적 함수(objective)가 각 분기를 해당 사전에 고정(anchor)한다. 라우터(router)는 공유 장면 표현(scene representation)으로부터 소프트 게이트(soft gate)를 예측하고, 궤적(trajectory) 생성 전에 전문가 조건을 결합한다. 학습(training) 중, 분기별 궤적 초안(trajectory draft)에 대한 특권(privileged) 규칙 기반 하위 지표(sub-metric) 추정치가 소프트 게이트 증류(distillation) 타깃을 제공한다. 예측된 행동 없는(action-free) 미래 잠재(latent)가 flow-matching 액터(actor)를 조건화(condition)한다. 추론(inference) 시에는 특권 구성 요소가 없으며, 전방 카메라 하나로 PerceptDrive는 테스트 시점(test-time) 채점(scoring), 재순위화(reranking), 또는 탐색(search) 없이 계획(planning) 단계마다 하나의 궤적을 생성한다. 실험 결과 PerceptDrive는 NAVSIM v1에서 90.4 PDMS, NAVSIM v2에서 90.2 EPDMS의 최신(state-of-the-art) 성능을 달성하여 기존 방법들을 능가한다. Ablation은 사전 유지와 장면 조건 라우팅(scene-conditioned routing)으로부터의 상보적 이득, 그리고 세 가지 사전에 대한 차별적 의존을 확인한다. 이 결과는 인지 사전을 보존하고 적응적으로 라우팅하는 것이 테스트 시점 후보 선택(candidate selection) 없이 직접 계획(direct planning)을 개선함을 보여준다.
Rectified Flow 기반 LiDAR 업샘플링을 통한 간편한 이미지-포인트 클라우드 정합
Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling
이미지-포인트 클라우드 정합(Image-to-Point Cloud Registration, I2P)은 지각 및 자율주행 시스템에서 카메라와 LiDAR를 통합하는 데 필수적이지만, 이미지와 포인트 클라우드 간의 모달리티 격차(modality gap)로 인해 높은 정확도와 강한 일반화를 동시에 달성하기 어렵다. 본 논문에서는 LiDAR를 이미징 센서로 취급하는 단순하면서도 효과적인 I2P 방법을 제안한다. 단일 희소 LiDAR 스캔으로부터 Conditional Rectified Flow를 이용해 밀집 LiDAR intensity 이미지를 생성하고, 사전학습된 특징(feature) 매처로 카메라 이미지와 매칭하며, PnP-RANSAC을 통해 6-DoF 상대 자세(relative pose)를 추정한다. 제안 모델은 자기지도(self-supervised) 이미지 완성(completion) 작업으로 사전학습(pre-training)되고 소량의 LiDAR 데이터로 파인튜닝(fine-tuning)되며, 이미지-포인트 클라우드 쌍이나 ground-truth 센서 자세가 필요하지 않아 다양한 LiDAR 및 카메라 구성으로 확장할 수 있다. R3LIVE 데이터셋에서의 실험 결과, 제안 방법은 평균 오차 4.89° / 1.63 m를 달성하여 기존 방법을 능가하며, 단일 정합(registration)을 약 0.68초 만에 완료한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
IROS 2026, 8 pages, 6 figures