arXiv:2407.11546

ParCon: Noise-Robust Collaborative Perception via Multi-module Parallel Connection

Hyunchul Bae, Minhee Kang, Heejin Ahn

제출 2024-07-16

원문 초록

In this paper, we investigate improving the perception performance of autonomous vehicles through communication with other vehicles and road infrastructures. To this end, we introduce a novel collaborative perception architecture, called ParCon, which connects multiple modules in parallel, as opposed to the sequential connections used in most other collaborative perception methods. Through extensive experiments, we demonstrate that ParCon inherits the advantages of parallel connection. Specifically, ParCon is robust to noise, as the parallel architecture allows each module to manage noise independently and complement the limitations of other modules. As a result, ParCon achieves state-of-the-art accuracy, particularly in noisy environments, such as real-world datasets, increasing detection accuracy by 6.91%. Additionally, ParCon is computationally efficient, reducing floating-point operations (FLOPs) by 11.46%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2511.07106v2cs.CV공통 태그 Autonomous Vehicles, 3D Object Detection

HENet++: 3D 인지와 엔드투엔드 자율주행을 위한 하이브리드 인코딩 및 멀티태스크 학습

HENet++: Hybrid Encoding and Multi-task Learning for 3D Perception and End-to-end Autonomous Driving

3차원 특징 추출과 멀티태스크 인지는 현대 자율주행 시스템의 핵심 구성 요소이다. 대형 이미지 인코더, 고해상도 입력, 그리고 긴 시간적 맥락(temporal context)은 표현 품질과 전반적인 성능을 크게 향상시킬 수 있지만, 학습과 추론 모두에서 발생하는 막대한 계산 비용으로 인해 이러한 전략들을 동시에 활용하는 것은 여전히 어려운 과제로 남아 있다. 더 나아가, 서로 다른 인지 작업(perception task)은 종종 서로 다른 특징 표현을 필요로 하기 때문에, 통합된 아키텍처가 특화된 단일 작업 시스템과 동등한 수준의 엔드투엔드 멀티태스크 성능을 달성하기는 어렵다. 이러한 문제를 해결하기 위해, 우리는 멀티태스크 3D 인지와 엔드투엔드 자율주행을 위한 통합 프레임워크인 HENet++를 제안한다. 이 프레임워크는 단기(short-term) 프레임에는 대형 인코더를, 장기(long-term) 시간적 맥락에는 경량 인코더를 사용하는 하이브리드 이미지 인코딩 전략을 채택하여 정확도와 효율성 사이에서 유리한 균형을 달성한다. 이 프레임워크는 밀집된(dense) 배경 특징과 희소한(sparse) 전경(foreground) 특징을 함께 추출하여, 작업별로 특화된 표현을 가능하게 함으로써 누적 오차를 줄이고 다운스트림 예측 및 플래닝 모듈에 더 풍부한 정보를 제공한다. HENet++는 다양한 3D 특징 추출 파이프라인과 호환되며, 카메라와 레이더 데이터를 포함한 멀티모달 입력을 지원한다. 광범위한 실험을 통해 nuScenes 멀티태스크 3D 인지 벤치마크에서 최첨단(state-of-the-art) 성능을 입증하였으며, nuScenes 플래닝 벤치마크에서 가장 낮은 충돌률(collision rate)을 달성하고 NAVSIM 벤치마크에서 더 높은 PDMS를 기록하였다.

arXiv:2607.08391v1cs.RO공통 태그 Autonomous Vehicles, 3D Object Detection

LiDAR 객체 검출을 위한 애니타임 입력 해상도 스케일링 탐구

On Exploring Input Resolution Scaling For Anytime LiDAR Object Detection

동적 운영 요구사항에 적응하기 위해 실행 지연 시간과 결과 유용성 사이의 트레이드오프를 조율하는 애니타임 컴퓨팅(anytime computing)은 사이버-물리 시스템의 성능을 향상시키는 것으로 알려져 있다. 본 연구에서는 3D 객체 검출을 위해 LiDAR 포인트 클라우드를 처리하는 심층 신경망(DNN)에 애니타임 컴퓨팅을 적용하는 방법을 연구한다. 우리는 포인트 클라우드를 필라(pillar) 또는 복셀(voxel) 형태로 처리하는 모델에 대해 다중 해상도 추론을 가능하게 하는 새로운 방법을 제안하며, 이를 통해 타이밍 요구사항을 충족하는 데 필요한 해상도로 입력을 동적으로 스케일링하여 처리할 수 있다. 특히, 메모리 효율적인 우리의 접근 방식은 단일 DNN 모델만 배포하면 되므로, 서로 다른 입력 해상도로 각각 학습된 여러 모델을 배포할 필요가 없다. 또한, LiDAR 포인트 클라우드의 불규칙성으로 인해 어렵지만, 런타임에 가능한 모든 해상도에 대한 실행 시간을 정확하게 예측하여 주어진 입력에 대해 가능한 가장 높은 해상도를 선택하는 데드라인 인식 스케줄러(deadline-aware scheduler)를 도입한다. nuScenes 자율주행 데이터셋에 대한 실험 결과, 우리의 방법이 LiDAR 객체 검출을 위한 기존 애니타임 컴퓨팅 접근 방식을 크게 능가함을 보인다. 마지막으로, 시뮬레이션된 자율주행 시스템에 우리의 접근 방식을 배포하였으며, 환경적 복잡성으로 인한 불필요한 지연을 방지하면서 지속적으로 충돌 없는 주행을 가능하게 함을 확인한다.

arXiv:2607.08375v1cs.CV공통 태그 Autonomous Vehicles, 3D Object Detection

WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델

WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving

비전-언어-액션(VLA) 모델은 엔드-투-엔드 자율주행을 발전시켜 왔다. 그러나 기존 방법들은 포괄적인 세계 인지(world cognition)가 부족하거나 단편적인 세계 예측(world foresight)으로 인해 어려움을 겪으며, 이로 인해 이러한 모델들은 본질적으로 반응적 주행에 국한된다. 이러한 한계를 해결하기 위해, 우리는 WCog-VLA를 제안한다. 이는 의미론적 세계 예측과 생성적 세계 진화를 성공적으로 연결하여 능동적 자율주행을 달성하는 새로운 이중 수준 세계-인지 VLA 프레임워크이다. 의미론적 수준에서, WCog-VLA는 3D 공간 인지를 통합하고 에이전트 토큰을 주입하여 세계 역학을 포착함으로써 세계 인지와 추론을 통합하며, 동시에 게임 이론적 사고의 연쇄(Game-theoretic Chain-of-Thought, Game-CoT) 추론을 가능하게 한다. 생성적 수준에서는, 물리적으로 타당한 다중 에이전트 합동 궤적을 합성하는 강력한 생성 세계 모델로서 정렬된 분리 확산 트랜스포머(Aligned Decoupled Diffusion Transformer, ADDT)를 도입한다. 장면 표현 정렬(scene representation alignment)을 통해 ADDT는 필요한 노이즈 제거 단계 수를 줄여 추론을 크게 가속화한다. 전략적 추론을 촉진하기 위해, 85k개의 Game-CoT 어노테이션을 포함하는 대규모 데이터셋을 추가로 구축한다. NAVSIM 벤치마크에서의 광범위한 실험을 통해 WCog-VLA가 92.9의 최첨단(SOTA) PDMS 점수를 달성함을 입증한다.

arXiv:2607.06484v1cs.CR공통 태그 Autonomous Vehicles, 3D Object Detection

커넥티드 자율주행 차량을 위한 증강된 3D 포인트 클라우드 공공 데이터셋에 대한 포이즈닝 공격의 운영적 영향 평가

Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles

공공 데이터셋에 대한 포이즈닝 공격은 다음과 같은 주요 우려를 야기한다: (i) 오염된 데이터를 학습에 사용할 때 인식된 객체의 오분류, (ii) 학습된 모델에 특정 조건이 적용될 때 이후 트리거될 수 있는 백도어 임베딩. 데이터 증강 모델에 대한 포이즈닝의 영향은 불명확하다. 데이터 증강이 포이즈닝 공격 성공의 가능도를 낮추기는 하지만, 몇 가지 유효한 의문점이 남는다. 데이터 증강이 포이즈닝 공격의 영향을 변화시키는가? 오염된 샘플의 수 또는 주입된 백도어를 증가시킬 수 있는가? 본 논문에서는 이러한 의문들 중 일부를 탐구한다. 오염된 3D 포인트 클라우드 데이터셋을 증강할 때의 효과를 평가하고, 생성적 적대 신경망(GAN) 기법을 데이터 증강 처리의 구체적 사례로 활용하여 포이즈닝이 증강 기법의 정화(sanitizing) 특성을 회피할 수 있음을 검증한다. 또한 포이즈닝이 증강된 데이터셋 전반에 걸쳐 전파되어 범용 분류기의 최종 의사 결정을 교란시킨다는 점도 검증한다. 모든 실험 자료(도구, 데이터셋, 분류기 포함)는 재현성을 높이고 이 주제에 대한 추가 연구를 촉진하기 위해 공개적으로 제공된다.

arXiv:2607.04098v1cs.CV공통 태그 Autonomous Vehicles, 3D Object Detection

Sparse4D-Radar: 4D 레이더-카메라 융합을 통한 효율적이고 강건한 서라운드뷰 3D 객체 검출 프레임워크

Sparse4D-Radar: An Efficient and Robust Framework for Surround-View 3D Object Detection via 4D Radar-Camera Fusion

최근 4D 이미징 레이더는 악천후에 대한 강건성과 대상 속도 출력 능력으로 자율주행 분야에서 큰 주목을 받고 있다. 그러나 주류 4D 레이더-카메라 융합 방법은 전방 뷰 인식만 지원하며, 서라운드뷰 감지를 위한 성숙한 솔루션이 부재하다. 이러한 파이프라인을 360° 전방위로 직접 확장하면 과도한 연산 비용이 발생하여 실제 배포에 제약이 생긴다. 이러한 한계를 극복하기 위해 본 연구는 효율적이고 강건한 서라운드뷰 다중 모달 융합 프레임워크인 Sparse4D-Radar를 제안한다. 먼저 레이더-카메라 특징을 희소 쿼리에 임베딩하는 Deformable Fusion 모듈을 설계하여 경량 기본 버전인 Sparse4D-Radar-Base를 구성한다. 나아가 위치 정확도와 모달리티 안정성을 향상시키기 위해 두 가지 전용 모듈을 추가로 도입한다: Velocity-Consistency Sampling(VCS)은 레이더 속도 단서를 활용하여 특징을 정제함으로써 움직임 인식을 가능하게 하고, Adaptive Modality Gating(AMG)은 특징 신뢰도에 따라 교차 모달 융합 가중치를 동적으로 조정한다. 모든 구성 요소를 결합하여 고정밀 검출 요구를 위한 Sparse4D-Radar-Acc를 구축한다. OmniHD-Scenes에서의 종합 실험을 통해 제안하는 방법이 최신 서라운드뷰 3D 검출 성능을 달성함을 검증한다. 기존 방법 대비 복잡한 주행 환경에서 mAP 7% 이상, ODS 10% 이상의 향상을 달성하면서 약 10 FPS로 동작하여, 검출 정확도, 환경 강건성, 추론 효율성 간의 균형을 효과적으로 실현한다. 오픈소스 코드는 https://github.com/Aiuan/Sparse4D-Radar 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.