arXiv:2111.04780

Frustum Fusion: Pseudo-LiDAR and LiDAR Fusion for 3D Detection

Farzin Negahbani, Onur Berk Töre, Fatma Güney, Baris Akgun

제출 2021-11-08

원문 초록

Most autonomous vehicles are equipped with LiDAR sensors and stereo cameras. The former is very accurate but generates sparse data, whereas the latter is dense, has rich texture and color information but difficult to extract robust 3D representations from. In this paper, we propose a novel data fusion algorithm to combine accurate point clouds with dense but less accurate point clouds obtained from stereo pairs. We develop a framework to integrate this algorithm into various 3D object detection methods. Our framework starts with 2D detections from both of the RGB images, calculates frustums and their intersection, creates Pseudo-LiDAR data from the stereo images, and fills in the parts of the intersection region where the LiDAR data is lacking with the dense Pseudo-LiDAR points. We train multiple 3D object detection methods and show that our fusion strategy consistently improves the performance of detectors.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08391v1cs.RO공통 태그 Object Detection, Autonomous Vehicles, 3D Object Detection

LiDAR 객체 검출을 위한 애니타임 입력 해상도 스케일링 탐구

On Exploring Input Resolution Scaling For Anytime LiDAR Object Detection

동적 운영 요구사항에 적응하기 위해 실행 지연 시간과 결과 유용성 사이의 트레이드오프를 조율하는 애니타임 컴퓨팅(anytime computing)은 사이버-물리 시스템의 성능을 향상시키는 것으로 알려져 있다. 본 연구에서는 3D 객체 검출을 위해 LiDAR 포인트 클라우드를 처리하는 심층 신경망(DNN)에 애니타임 컴퓨팅을 적용하는 방법을 연구한다. 우리는 포인트 클라우드를 필라(pillar) 또는 복셀(voxel) 형태로 처리하는 모델에 대해 다중 해상도 추론을 가능하게 하는 새로운 방법을 제안하며, 이를 통해 타이밍 요구사항을 충족하는 데 필요한 해상도로 입력을 동적으로 스케일링하여 처리할 수 있다. 특히, 메모리 효율적인 우리의 접근 방식은 단일 DNN 모델만 배포하면 되므로, 서로 다른 입력 해상도로 각각 학습된 여러 모델을 배포할 필요가 없다. 또한, LiDAR 포인트 클라우드의 불규칙성으로 인해 어렵지만, 런타임에 가능한 모든 해상도에 대한 실행 시간을 정확하게 예측하여 주어진 입력에 대해 가능한 가장 높은 해상도를 선택하는 데드라인 인식 스케줄러(deadline-aware scheduler)를 도입한다. nuScenes 자율주행 데이터셋에 대한 실험 결과, 우리의 방법이 LiDAR 객체 검출을 위한 기존 애니타임 컴퓨팅 접근 방식을 크게 능가함을 보인다. 마지막으로, 시뮬레이션된 자율주행 시스템에 우리의 접근 방식을 배포하였으며, 환경적 복잡성으로 인한 불필요한 지연을 방지하면서 지속적으로 충돌 없는 주행을 가능하게 함을 확인한다.

arXiv:2607.08375v1cs.CV공통 태그 Object Detection, Autonomous Vehicles, 3D Object Detection

WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델

WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving

비전-언어-액션(VLA) 모델은 엔드-투-엔드 자율주행을 발전시켜 왔다. 그러나 기존 방법들은 포괄적인 세계 인지(world cognition)가 부족하거나 단편적인 세계 예측(world foresight)으로 인해 어려움을 겪으며, 이로 인해 이러한 모델들은 본질적으로 반응적 주행에 국한된다. 이러한 한계를 해결하기 위해, 우리는 WCog-VLA를 제안한다. 이는 의미론적 세계 예측과 생성적 세계 진화를 성공적으로 연결하여 능동적 자율주행을 달성하는 새로운 이중 수준 세계-인지 VLA 프레임워크이다. 의미론적 수준에서, WCog-VLA는 3D 공간 인지를 통합하고 에이전트 토큰을 주입하여 세계 역학을 포착함으로써 세계 인지와 추론을 통합하며, 동시에 게임 이론적 사고의 연쇄(Game-theoretic Chain-of-Thought, Game-CoT) 추론을 가능하게 한다. 생성적 수준에서는, 물리적으로 타당한 다중 에이전트 합동 궤적을 합성하는 강력한 생성 세계 모델로서 정렬된 분리 확산 트랜스포머(Aligned Decoupled Diffusion Transformer, ADDT)를 도입한다. 장면 표현 정렬(scene representation alignment)을 통해 ADDT는 필요한 노이즈 제거 단계 수를 줄여 추론을 크게 가속화한다. 전략적 추론을 촉진하기 위해, 85k개의 Game-CoT 어노테이션을 포함하는 대규모 데이터셋을 추가로 구축한다. NAVSIM 벤치마크에서의 광범위한 실험을 통해 WCog-VLA가 92.9의 최첨단(SOTA) PDMS 점수를 달성함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.