RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection Systems
원문 초록
In autonomous driving, LiDAR and radar are crucial for environmental perception. LiDAR offers precise 3D spatial sensing information but struggles in adverse weather like fog. Conversely, radar signals can penetrate rain or mist due to their specific wavelength but are prone to noise disturbances. Recent state-of-the-art works reveal that the fusion of radar and LiDAR can lead to robust detection in adverse weather. The existing works adopt convolutional neural network architecture to extract features from each sensor data, then align and aggregate the two branch features to predict object detection results. However, these methods have low accuracy of predicted bounding boxes due to a simple design of label assignment and fusion strategies. In this paper, we propose a bird's-eye view fusion learning-based anchor box-free object detection system, which fuses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector is further enhanced by employing a novel interactive transformer module. The superior performance of the methods proposed in this paper has been demonstrated using the recently published Oxford Radar RobotCar dataset. Our system's average precision significantly outperforms the state-of-the-art method by 13.1% and 19.0% at Intersection of Union (IoU) of 0.8 under 'Clear+Foggy' training conditions for 'Clear' and 'Foggy' testing, respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
Snow Removal for LiDAR Point Clouds with Spatio-temporal Conditional Random Fields
RCFusion: Fusing 4-D Radar and Camera With Bird’s-Eye View Features for 3-D Object Detection
Real-time Collision Risk Estimation based on Stochastic Reachability Spaces
도메인 변화 환경에서 보행자 검출을 위한 신뢰도 통제 기반 설명가능 인공지능(XAI) 감사
Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift
지능형 차량의 인지 모델에서 설명가능성(explainability)이 점차 요구되고 있으나, 주행 도메인 변화(domain shift) 환경에서도 설명이 충실도(faithfulness)를 유지하는지는 여전히 명확히 밝혀지지 않았습니다. 본 연구는 관심 영역(ROI) 기반 D-Deletion, 고정 신뢰도 3분위수, 순위 기반 검정, 부트스트랩 신뢰구간 및 Holm 교정을 활용하여 PIE 및 JAAD 데이터셋에 걸쳐 고정된 YOLOv8s 보행자 검출기의 사후(post-hoc) 설명을 감사합니다. 감사 결과, 삭제 기반 충실도는 설명 생성 시점의 검출 강도(detection strength)와 강하게 결합되어 있으며(D-RISE의 스피어만 상관계수 0.70~0.82), 이로 인해 단순한 신뢰도 계층화 비교는 신뢰하기 어려움이 드러났습니다. 고정된 f0 빈(bin) 내에서 검출 강도를 통제한 후에도 D-RISE 충실도는 중심 f0 범위에서 도메인에 따라 달라졌으며, PIE가 JAAD보다 더 높은 D-Deletion 및 Holm 보정 유의성을 나타냈습니다. 비섭동(non-perturbative) 기반 EigenCAM 기준선은 D-RISE보다 충실도가 낮았으나 마찬가지로 점수 결합 현상을 보여, 이러한 효과가 D-RISE에만 국한되지 않고 삭제 기반 평가 설정과 연관되어 있음을 시사합니다. 이러한 결과는 도메인 변화 환경의 안전 필수(safety-critical) 인지 시스템에서 신뢰도를 통제한 XAI 감사가 필요함을 시사합니다.
시계를 굽히다: 이벤트 기반 객체 검출에서 지연을 이기 위한 선행 예측
Bend the Clock: Predicting Ahead to Beat Latency in Event-Based Object Detection
이벤트 카메라는 고속 로봇 시스템에서 낮은 지연의 인지를 약속하지만, 짧은 지연조차도 검출 결과가 하위 로봇 의사결정에 반영될 때쯤에는 이미 낡은 정보가 될 수 있다. 그럼에도 최신 이벤트 검출기는 예측이 사용 가능해지기까지 수십 밀리초의 연산을 여전히 요구한다. 기존 평가는 관측 시각의 주석과 예측을 비교하여 이 지연을 무시하는데, 실제로는 그 예측이 생성될 때쯤 장면이 이미 바뀌었을 수 있다. 본 연구는 이벤트 기반 다중 객체 검출에서 이러한 관측–가용성 불일치를 분석하고, 최신 이벤트 검출기가 관측 시각이 아니라 예측 가용 시각 기준으로 평가할 때 성능이 크게 저하됨을 보인다. 이를 해결하기 위해 ChronoFuse를 제안한다. ChronoFuse는 입력이 관측된 시각이 아니라 출력이 사용 가능해지는 시각의 객체 상태를 예측하는 인과적 가용-시각 검출기이다. ChronoFuse는 다중 스케일 특징 계층에 걸친 인과적 교차-시간 융합을 수행하여, 캐시된 시간적 특징과 현재 표현을 결합함으로써 미래 관측을 사용하지 않고 단기 시간적 단서를 드러낸다. 융합 경로는 경량이며, 평균 end-to-end 지연 오버헤드는 0.17백만 개의 파라미터와 0.84 ms만 추가한다. ChronoFuse는 1Mpx 주행 데이터에서 지연으로 인한 정확도 손실의 71%를 회복하고, FRED의 급격한 드론 움직임에서는 90.8%를 회복하여 거의 무지연 성능에 가깝게 복원한다. EV-Flying의 극한적인 움직임에서는 ChronoFuse가 20.95 sAP에 도달하며, 가장 강한 표준 이벤트 검출기의 2.25 대비 9.3배 향상을 보인다. 이 결과는 자율주행, 민첩 비행, 로봇 요격 등 빠르게 변하는 장면에서 동작하는 로봇에게 선행 예측이 핵심적일 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.