멀티모달 3D 객체 검출은 LiDAR와 카메라 센서의 상보적 정보를 통합하므로 자율주행에서 견고한 인지의 기반이 된다. 그러나 기존 방법은 센서 노이즈, 악천후, 환경 변화로 인한 분포 외(out-of-distribution, OOD) 손상(corruption) 조건에서 견고성을 유지하지 못하는 경우가 많다. 이 문제를 해결하기 위해, Segment Anything Model(SAM)과 같은 비전 기초 모델(visual foundation model, VFM)을 활용하는 견고하고 일반화 가능한 멀티모달 3D 객체 검출 프레임워크 RoboDistill을 제안한다. 먼저 자율주행 영상에 SAM을 파인튜닝하여 풍부한 의미 정보를 담은 특징 표현을 추출하는 도메인 특화 사전학습(pre-training) 전략 SAM-AD를 도입한다. 둘째, AD Feature Pyramid Network(AD-FPN)를 설계하여 SAM 특징을 다중 스케일에서 정제·업샘플링하고 LiDAR 특징과 원활하게 융합한다. 셋째, 고주파 센서 노이즈는 억제하면서 중요한 문맥 정보는 보존하는 Depth-Guided Wavelet Attention(DGWA) 모듈을 개발한다. 마지막으로, 사전학습된 SAM-AD를 교사로 두고 고품질 시각 지식을 경량 포인트 클라우드 네트워크에 지식 증류(distillation)하는 KD Fusion을 도입하여 노이즈 환경에서의 견고성을 높인다. 27가지 어려운 OOD 손상 설정에 걸친 광범위한 실험에서 RoboDistill은 대표적인 최신(state-of-the-art) 방법 대비 전반적으로 더 강하거나 경쟁력 있는 검출 성능과 견고성을 보인다. 본 연구는 VFM과 3D 객체 검출 사이의 간극을 줄이고, 실제 자율주행 응용을 위한 견고한 멀티모달 인지를 발전시킨다.
RGB-IR 객체 검출에서 극한 조건의 성능 저하 문제를 해결하기 위해, 라플라시안 피라미드 기반의 LDFE(Laplacian Decoupled Feature Enhancement) 블록을 제안하여 이중 스트림 CNN 백본의 멀티모달 특징을 전역-지역으로 분리한 뒤 GS2E와 LC2E 모듈로 각각 노이즈를 제거하고 융합한다. M3FD, DroneVehicle, LLVIP 등 6개 데이터셋에서 SOTA 대비 최대 6.2% mAP 향상을 달성하며 파라미터 효율성과 추론 속도 면에서도 우수한 성능을 보인다.
현재 도로 안전 시스템은 주로 충돌 후 피해 최소화에 초점을 맞추고 있다. 그러나 알고리즘 기반 지각(perception) 기술의 발전으로, 특히 야간이나 안개와 같은 저시정 조건에서 열적외선(thermal infrared) 센싱이 인간 시각과 RGB 이미징 모두를 능가하는 조기 충돌 예측으로 관심이 이동하고 있다. FLIR ADAS, LLVIP와 같은 기존 RGB-적외선 데이터셋은 우수한 벤치마크이지만, 대부분 맑은 날씨와 지나치게 단순한 시나리오로 구성되어 있다. 본 논문에서는 LYNRED Mobility Dataset의 서브셋인 LYNRED-MDS(Multimodal Detection Subset)를 소개한다. 이 데이터셋은 프랑스 그르노블 인근에서 다양한 기상, 조명, 도로 조건 하에 수집된 4,000쌍의 RGB-적외선 이미지 쌍으로 구성된다. 우리의 데이터셋은 다양한 주행 맥락(도심, 농촌, 산악 지형 등)과 서유럽 기준을 준수하는 차량 군을 포함한다. YOLOv8n 기준선(baseline)을 활용한 열화상 교차 데이터셋 평가 결과, 본 데이터셋이 주행 시나리오에서 보행자 검출에 대한 강력한 일반화 가능성을 제공함을 시사한다. 중요한 엣지 케이스(edge case)를 포괄함으로써, 본 데이터셋은 고급 운전자 보조 시스템(ADAS)을 위한 보다 신뢰성 있고 실용적인 비전 시스템 개발을 지원한다.