PALIN: 픽셀 단위로 정렬한 LiDAR·근적외선 기반 멀티모달 3차원 객체 검출과 벤치마크
PALIN: Pixel-Aligned LiDAR-NIR Multimodal 3D Object Detection with Benchmark
한국어 초록
3차원 객체 검출은 지능형 교통 시스템에 중요하다. LiDAR는 정확한 기하 측정에 널리 쓰이지만, 관측이 성기거나 가려짐이 있으면 기하 정보만으로는 객체가 모호할 수 있다. 여러 센서를 융합할 때는 보정과 동기화 오차가 생긴다. 이를 해결하기 위해 Ouster LiDAR를 이용해 기하 구조와 근적외선(NIR) 강도를 측정 단계부터 픽셀 단위로 정렬한 대규모 멀티모달 데이터셋 PALIN(Pixel-Aligned LiDAR-NIR)을 구축했다. 도시 교차로의 고정 관측 장면과 교외의 다양한 이동 관측 장면에서 수집한 주석 프레임 약 8,000개로 구성된다. 이 데이터셋을 바탕으로 새로운 융합 프레임워크 CMambaFusion을 제안한다. 네 방향의 Cross-Mamba 모듈로 모달리티 간 양방향 상호작용을 처리하고, Gated Concat-Mamba 모듈로 결합 특징을 다듬는다. 광범위한 실험에서 PALIN은 효과적인 멀티모달 학습을 지원했다. CMambaFusion은 LiDAR만 쓰는 기준선과 대표적인 융합 기준선보다 정확도와 효율 사이에서 더 나은 절충점을 달성했다.
원문 초록
3D object detection is critical for intelligent transportation systems. LiDAR has been widely adopted for accurate geometric measurements; however, purely geometric representations remain ambiguous under sparse observations and occlusions, while cross-sensor multimodal fusion suffers from calibration and synchronization errors. To overcome these challenges, we leverage an Ouster LiDAR to construct PALIN (Pixel-Aligned LiDAR-NIR), a large-scale intrinsically pixel-aligned multimodal dataset jointly capturing geometry and NIR intensity, comprising approximately 8,000 annotated frames from static urban intersections and diverse mobile suburban scenes. Building upon this dataset, we propose CMambaFusion, a novel fusion framework consisting of a four-directional Cross-Mamba module for bidirectional cross-modal interaction and a Gated Concat-Mamba module for joint feature refinement. Extensive experiments demonstrate that PALIN enables effective multimodal learning, and CMambaFusion achieves superior accuracy-efficiency trade-offs over both LiDAR-only and representative fusion baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19485v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.