현대 무인기(UAV)는 비용, 유연성 및 효율성 덕분에 많은 응용 분야에서 매력적이지만, 그 확산으로 인해 악의적이거나 우발적인 사고가 증가하면서 UAV 탐지 및 분류(classification) 메커니즘이 필수적이 되었습니다. 개별 감지 양식(modality)은 각각 상호보완적인 한계를 지니며, 기존 탐지 시스템은 일반적으로 단일 센서에 의존하거나 결정 수준(decision level)에서만 양식을 융합하여, 이종의 영상 및 레이더 탐지기 간 특징(feature) 수준 융합은 대부분 탐색되지 않은 채로 남아 있습니다. 본 논문에서는 열화상, 광전(optronic), 레이더 센서의 개별 객체 탐지 및 분류 모델에서 추출한 고수준 특징을 융합하는 심층 신경망(deep neural network)을 제안합니다. CNN 기반 아키텍처는 레이더 특징과 융합하기 전에 채널 축을 따라 열화상 및 광전 영상 특징을 쌓는 방식으로 세 가지 양식을 결합합니다. 실제 다중 센서 데이터셋(dataset)에서 평가한 결과, 제안된 3가지 양식 융합 모델(model)은 0.95의 F1-점수를 달성하여, 2가지 양식(열화상-광전) 구성의 0.93 및 가장 성능이 뛰어난 단일 센서(열화상) 기준선(baseline)의 0.91과 비교되었으며, 이를 통해 상호보완적인 센서 특징 융합이 UAV 분류 성능에서 측정 가능한 이득을 가져옴을 확인했습니다.
센서 및 인공지능(AI) 기술의 급속한 발전과 함께, 지능형 수상 차량(ISV)은 학계와 산업계에서 점점 더 많은 주목을 받고 있다. ISV의 지능성, 신뢰성, 안전성은 복잡한 항법 환경에서의 상황 인식에 크게 의존한다. 고품질 인식을 달성하기 위해, 우리는 자동 선박 식별 시스템(AIS), 레이더, RGB 카메라를 포함한 상호 보완적 센서를 활용하여 NavEYE라는 비전 중심 다중 센서 융합 시스템을 개발한다. 구체적으로, 우리는 먼저 저시간해상도 AIS 데이터와 고시간해상도 레이더 데이터를 정확하게 매칭하기 위한 다중 제약 게이트 데이터 연관 방법(MCGA)을 제안한다. 이후 거리 인식 적응형 가중치 융합(DAWF)과 적시성 감쇠 기반 스티칭 융합(TDSF)을 선택적으로 적용하여 융합 결과를 얻으며, 이는 실세계 감지 시나리오에서 AIS 또는 레이더 데이터 손실로 인한 불확실성을 줄인다. 정확하고 강인한 시각적 객체 검출을 기반으로, 정규화된 방위각 및 거리 특징의 결합 제약을 통해 AIS, 레이더, 시각 데이터를 추가로 연관 및 융합한다. 융합 결과에 따라 관심 선박과 관련된 종합적인 정보를 자동으로 획득할 수 있으며, 이는 ISV의 상황 인식 향상과 충돌 위험 감소에 기여한다. 제안된 다중 센서 융합 방법 및 상황 인식 시스템의 실현 가능성, 강인성, 사용성, 효과성은 AIS, 레이더, 카메라에서 수집된 실세계 감지 데이터셋에 대한 광범위한 실험을 통해 입증된다. 실험 결과는 정량적 및 정성적 평가 모두에서 우리의 융합 방법의 우수한 성능을 보여준다. 또한, 선상 NavEYE 시스템은 복잡하고 동적인 환경에서 ISV의 항법 안전성을 향상시킬 수 있다.
ADM-Fusion은 자율주행 환경에서 센서 열화 및 기상 변화에 강건한 자기 운동 추정(ego-motion estimation)을 위해, 콘텐츠 인식 라우팅을 갖춘 적응형 센서 전문가 혼합(ASMoE) 모듈과 교차 태스크 어텐션으로 결합된 이동/회전 분리 브랜치를 활용하는 엔드투엔드 딥러닝 다중 센서 융합 프레임워크다. CARLA-Loc 시뮬레이션 데이터셋으로 학습 후 KITTI 실세계 데이터에 파인튜닝하여 시뮬레이션-실환경 전이(sim-to-real transfer)의 효과를 입증하였으며, 열화된 조건에서도 경쟁력 있는 성능을 유지함을 보였다.
We study multi-sensor fusion for 3D semantic segmentation that is important to scene understanding for many applications, such as autonomous driving and robotics. Existing fusion-based methods, however, may not achieve promising performance due to the vast difference between the two modalities. In this work, we investigate a collaborative fusion scheme called perception-aware multi-sensor fusion (PMF) to effectively exploit perceptual information from two modalities, namely, appearance information from RGB images and spatio-depth information from point clouds. To this end, we project point clouds to the camera coordinate using perspective projection, and process both inputs from LiDAR and cameras in 2D space while preventing the information loss of RGB images. Then, we propose a two-stream network to extract features from the two modalities, separately. The extracted features are fused by effective residual-based fusion modules. Moreover, we introduce additional perception-aware losses to measure the perceptual difference between the two modalities. Last, we propose an improved version of PMF, i.e., EPMF, which is more efficient and effective by optimizing data pre-processing and network architecture under perspective projection. Specifically, we propose cross-modal alignment and cropping to obtain tight inputs and reduce unnecessary computational costs. We then explore more efficient contextual modules under perspective projection and fuse the LiDAR features into the camera stream to boost the performance of the two-stream network. Extensive experiments on benchmark data sets show the superiority of our method. For example, on nuScenes test set, our EPMF outperforms the state-of-the-art method, i.e., RangeFormer, by 0.9% in mIoU. Our source code is available at https://github.com/ICEORY/PMF.