비전 기초 모델을 통한 견고한 멀티모달 3D 객체 검출
Towards robust multimodal 3D object detection via visual foundation models
한국어 초록
멀티모달 3D 객체 검출은 LiDAR와 카메라 센서의 상보적 정보를 통합하므로 자율주행에서 견고한 인지의 기반이 된다. 그러나 기존 방법은 센서 노이즈, 악천후, 환경 변화로 인한 분포 외(out-of-distribution, OOD) 손상(corruption) 조건에서 견고성을 유지하지 못하는 경우가 많다. 이 문제를 해결하기 위해, Segment Anything Model(SAM)과 같은 비전 기초 모델(visual foundation model, VFM)을 활용하는 견고하고 일반화 가능한 멀티모달 3D 객체 검출 프레임워크 RoboDistill을 제안한다. 먼저 자율주행 영상에 SAM을 파인튜닝하여 풍부한 의미 정보를 담은 특징 표현을 추출하는 도메인 특화 사전학습(pre-training) 전략 SAM-AD를 도입한다. 둘째, AD Feature Pyramid Network(AD-FPN)를 설계하여 SAM 특징을 다중 스케일에서 정제·업샘플링하고 LiDAR 특징과 원활하게 융합한다. 셋째, 고주파 센서 노이즈는 억제하면서 중요한 문맥 정보는 보존하는 Depth-Guided Wavelet Attention(DGWA) 모듈을 개발한다. 마지막으로, 사전학습된 SAM-AD를 교사로 두고 고품질 시각 지식을 경량 포인트 클라우드 네트워크에 지식 증류(distillation)하는 KD Fusion을 도입하여 노이즈 환경에서의 견고성을 높인다. 27가지 어려운 OOD 손상 설정에 걸친 광범위한 실험에서 RoboDistill은 대표적인 최신(state-of-the-art) 방법 대비 전반적으로 더 강하거나 경쟁력 있는 검출 성능과 견고성을 보인다. 본 연구는 VFM과 3D 객체 검출 사이의 간극을 줄이고, 실제 자율주행 응용을 위한 견고한 멀티모달 인지를 발전시킨다.
원문 초록
Multimodal 3D object detection is fundamental to robust perception in autonomous driving because it integrates complementary information from LiDAR and camera sensors. However, existing methods often fail to maintain robustness under out-of-distribution (OOD) corruptions caused by sensor noise, adverse weather, and environmental changes. To address this problem, we propose RoboDistill, a robust and generalizable multimodal 3D object detection framework that leverages visual foundation models (VFMs), such as the Segment Anything Model (SAM). First, we introduce SAM-AD, a domain-specific pretraining strategy that fine-tunes SAM on autonomous-driving imagery to extract feature representations with rich semantic information. Second, we design the AD Feature Pyramid Network (AD-FPN) to refine and upsample SAM features at multiple scales for seamless fusion with LiDAR features. Third, we develop the Depth-Guided Wavelet Attention (DGWA) module, which suppresses high-frequency sensor noise while preserving critical contextual information. Finally, we introduce KD Fusion, in which the pretrained SAM-AD serves as a teacher that distills high-quality visual knowledge into a lightweight point-cloud network, thereby improving robustness under noisy conditions. Extensive experiments across 27 challenging OOD corruption settings show that RoboDistill generally delivers stronger or competitive detection performance and robustness relative to representative state-of-the-art methods. This work bridges the gap between VFMs and 3D object detection and advances robust multimodal perception for real-world autonomous-driving applications.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23541v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리
Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection
라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.
파편에서 글로벌 맵으로: 대규모 언어 모델을 활용한 벡터화 지도 통합 학습
From Fragments to Global Maps: Learning Vectorized Map Aggregation with Large Language Models
대규모 벡터화 HD 맵(고정밀 지도)은 자율주행의 인지, 위치 추정(localization), 경로 계획(planning)에 필수적인 구조화된 도로 정보를 제공합니다. 이러한 지도를 구축하려면 차량 궤적을 따라 수집된 노이즈가 있고 파편화되며 겹치는 로컬 예측들을 일관된 글로벌 맵으로 통합(aggregation)해야 합니다. 기존의 통합 방식은 일반적으로 파편 연관(association) 및 정제를 위한 수작업 규칙에 의존합니다. 그러나 고정된 임계값 세트는 도로 구조의 다양성과 예측 오차를 효과적으로 처리하지 못해 검출기(detector)별 튜닝이나 수동 조정을 필요로 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 벡터화 지도 통합을 대규모 언어 모델(LLM)을 통한 조건부 시퀀스 생성으로 정식화하는 데이터 주도형 프레임워크인 MapMergeLLM을 제안합니다. 직렬화된 로컬 벡터 지도가 주어지면, 본 모델은 통합된 글로벌 맵의 폴리라인(polyline)을 직접 예측합니다. 특정 업스트림 검출기에 대한 의존도를 낮추기 위해, 대표적인 예측 오류를 시뮬레이션하는 손상(corruption) 기법을 사용하여 정제된 벡터 지도에서 생성한 합성 로컬 지도로 모델을 학습합니다. 또한 지도 좌표를 정밀하게 표현하기 위해 기하학적 구조를 인식하는 사전학습(geometry-aware pretraining) 기반의 좌표 토크나이저를 도입합니다. 아울러 동일한 지도 요소의 로컬 관측 간 대응 관계를 명시적으로 지도하는 선 단위(line-level) 연관 손실을 제안합니다. 최근의 여러 업스트림 검출기를 사용한 Argoverse2 및 nuScenes 데이터셋 실험 결과, MapMergeLLM은 검출기별 재학습 없이도 휴리스틱 및 최적화 기반 통합 베이스라인보다 크게 우수한 성능을 보이는 것으로 나타났습니다.
EgoRefine: 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 궤적 조건부 신뢰도 인지 융합
EgoRefine: Ego-Referenced Predictive Alignment and Trajectory-Conditioned Reliability-Aware Fusion for Asynchronous Collaborative Perception
협력 인지는 연결된 에이전트(agent)들이 상호 보완적인 관측을 공유하여 3D 객체 검출(object detection)을 수행할 수 있게 함으로써, 감지 범위를 확장하고 가림 현상을 완화합니다. 그러나 비동기 통신 환경에서는 협력 특징(feature)이 시간적 지연을 동반하여 도착합니다. 기존의 예측 기반 방법들은 주로 송신 에이전트 자체의 이력을 바탕으로 이러한 특징을 보상하므로, 자차(ego) 에이전트의 현재 관측과의 잔여 정렬 오차가 남게 되며, 후속 융합 과정에서도 정렬 품질의 공간적 변동을 간과하는 경우가 많습니다. 본 논문에서는 비동기 협력 인지를 위한 자차 기준 예측 정렬 및 신뢰도 인지 융합 프레임워크인 EgoRefine을 제안합니다. Ego-referenced Predictive Alignment 모듈은 현재 자차 특징을 활용해 협력 궤적 필드 예측을 유도하고 자차 기준 궤적 방향을 따라 샘플링 오프셋을 정제합니다. Trajectory-conditioned Reliability-aware Fusion 모듈은 자차와 협력 스트림 간의 궤적 불일치 및 방향성 정제 크기를 정렬 단서로 취급하여, 이를 통해 정렬된 특징 간의 관계를 조건화하고 합성곱(convolutional) 융합 전에 두 스트림의 가중치를 적응적으로 재조정합니다. V2V4Real 및 DAIR-V2X-Seq에 대한 실험 결과, EgoRefine은 TraF-Align 대비 [email omitted] 및 [email omitted] 각각 평균 1.6포인트와 2.9포인트 향상된 성능을 보였습니다. 소스 코드는 https://github.com/godk0509/EgoRefine 에서 공개될 예정입니다.
Lang3DSeg: 포인트 트랜스포머 기반의 주석 없는 오픈 보캐블러리 3D 분할
Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers
정확한 3D 시맨틱 인지는 안전한 자율 주행에 매우 중요합니다. 그러나 지도학습 기반 LiDAR 분할(segmentation)은 닫힌 분류 체계(closed taxonomy)와 포인트별 수동 주석(annotation) 비용에 여전히 얽매여 있습니다. 오픈 보캐블러리(open-vocabulary) 방식은 2D 비전-언어 모델(vision-language model)의 출력을 LiDAR에 투영하고 이를 3D 네트워크로 증류함으로써 이러한 비용을 피합니다. 이러한 방식들은 거의 전적으로 복셀 기반 희소 합성곱(sparse convolution)에 의존하며, 포인트 트랜스포머(point transformer)는 지금까지 3D 데이터가 조밀하고 경계가 제한된 실내 환경으로 국한되어 왔습니다. 본 논문에서는 포인트 트랜스포머를 실외 3D LiDAR의 주석 없는(annotation-free) 오픈 보캐블러리 분할 백본으로 확립하고, 기하학적 사전학습(pre-training) 없이 처음부터 학습(training)하는 Lang3DSeg를 제시합니다. 이러한 학습 패러다임은 2D-to-3D 레이블 투영에 내재된 노이즈를 해결해야만 합니다. 구체적으로 단순한 투영은 깊이 모호성(depth ambiguity)으로 인해 물체 뒤에 있는 포인트에 해당 물체의 시맨틱 레이블이 잘못 할당되는 문제가 자주 발생합니다. 따라서 본 연구에서는 명시적인 클래스 우선순위 규칙을 사용해 마스크를 합성하고, 투영된 각 인스턴스를 깊이 분포의 첫 번째 간극에서 잘라냄으로써(truncate), 정합된 시퀀스 전체에 걸쳐 평균을 내는 대신 투영 오류를 직접적으로 보정합니다. Lang3DSeg는 nuScenes 검증(validation)에서 52.8% mIoU, SemanticKITTI에서 41.4%를 달성하여 두 벤치마크 모두에서 발표된 주석 없는 방법 중 가장 높은 성능을 기록했습니다. 모든 3D 시맨틱 분할은 단일 LiDAR 스윕(sweep)에서 수행되며, 추론(inference)은 비전-언어 모델을 실행하지 않고 실시간으로 동작합니다.
FedCKA: 다양한 주행 도메인 전반의 연합 3D 인지를 위한 표현 유도 층 개인화
FedCKA: Representation-Guided Layer Personalization for Federated 3D Perception Across Driving Domains
지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.
FFBL-Coop: 연관 분리형 협력형 3D 다중 객체 추적
FFBL-Coop: Association-Decoupled Cooperative 3D Multi-Object Tracking
협력형 3D 추적은 일관된 식별자(ID)를 유지하면서 여러 에이전트와 시간에 걸친 상호보완적인 관측 정보를 통합해야 합니다. 증거 통합과 식별자 상속이 동일한 매칭 결정을 공유할 경우, 시점 간 외형 차이 및 공간적 불일치로 인해 발생하는 오류가 특징 융합과 트랙 연속성을 모두 저해할 수 있습니다. 본 논문에서는 인스턴스 수용과 식별자 관리를 분리하는 선 융합 후 결합(fuse first, bind later) 프레임워크인 FFBL-Coop을 제안합니다. 신뢰도 순위 슬롯 수용(CSA)은 신뢰도와 공간적 근접성을 바탕으로 협력 쿼리를 사용 가능한 자차(ego) 슬롯에 할당합니다. 통합 표현 집약(URA)은 협력 의미 특징과 정렬된 앵커를 활용해 자차 특징 검색을 유도하며, 공유 트랜스포머 디코더 내에서 증강된 쿼리 뱅크를 정제합니다. 정제 후 협력 우선 식별자 앵커링(CPIA)은 학습된 연관성과 지속적인 매핑을 결합하여 프레임 전반에 걸쳐 수용된 식별자 할당을 확립합니다. 공유 코드북은 전송 페이로드를 줄이면서도 압축되지 않은 버전과 유사한 수준의 AP 및 AMOTA를 유지합니다. FFBL-Coop은 V2X-Seq에서 0.611/0.548, Griffin-25M에서 0.688/0.653의 AMOTA/AP를 달성합니다. 코드는 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.