arXiv:2211.13858

Far3Det: Towards Far-Field 3D Detection

Shubham Gupta, Jeet Kanjani, Mengtian Li, Francesco Ferroni, James Hays, Deva Ramanan, Shu Kong

제출 2022-11-25

원문 초록

We focus on the task of far-field 3D detection (Far3Det) of objects beyond a certain distance from an observer, e.g., $>$50m. Far3Det is particularly important for autonomous vehicles (AVs) operating at highway speeds, which require detections of far-field obstacles to ensure sufficient braking distances. However, contemporary AV benchmarks such as nuScenes underemphasize this problem because they evaluate performance only up to a certain distance (50m). One reason is that obtaining far-field 3D annotations is difficult, particularly for lidar sensors that produce very few point returns for far-away objects. Indeed, we find that almost 50% of far-field objects (beyond 50m) contain zero lidar points. Secondly, current metrics for 3D detection employ a "one-size-fits-all" philosophy, using the same tolerance thresholds for near and far objects, inconsistent with tolerances for both human vision and stereo disparities. Both factors lead to an incomplete analysis of the Far3Det task. For example, while conventional wisdom tells us that high-resolution RGB sensors should be vital for 3D detection of far-away objects, lidar-based methods still rank higher compared to RGB counterparts on the current benchmark leaderboards. As a first step towards a Far3Det benchmark, we develop a method to find well-annotated scenes from the nuScenes dataset and derive a well-annotated far-field validation set. We also propose a Far3Det evaluation protocol and explore various 3D detection methods for Far3Det. Our result convincingly justifies the long-held conventional wisdom that high-resolution RGB improves 3D detection in the far-field. We further propose a simple yet effective method that fuses detections from RGB and lidar detectors based on non-maximum suppression, which remarkably outperforms state-of-the-art 3D detectors in the far-field.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.14756v3cs.LG공통 태그 Philosophy공식 코드 · Papers with Code

LLINBO: 신뢰할 수 있는 LLM 인 더 루프 베이지안 최적화

LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization

베이지안 최적화(BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되는 순차적 의사결정 도구이다. 최근 대규모 언어 모델(LLM)은 데이터가 적은 환경에서 뛰어난 적응력을 보였으며, 맥락 지식을 활용해 고품질의 질의 지점을 제안함으로써 블랙박스 최적화에 유망한 도구가 되고 있다. 그러나 LLM은 명시적인 대리 모델링과 보정된 불확실성이 없고 내부 메커니즘도 불투명하다. 이러한 구조적 불투명성은 불필요한 실험을 초래할 수 있으며, 이는 BO에서 비용이 크고 탐색이 최적해에 접근하는 것을 방해할 수 있다. 이를 해결하기 위해 우리는 기존 LLM 기반 BO 접근법을 감싸서 그 제안을 언제 어떻게 따를지, 그리고 언제 고전적 BO로 되돌아갈지를 결정하는 일반 프레임워크인 LLINBO(LLM-in-the-Loop BO)를 제안한다. 우리는 이러한 상호작용을 위한 세 가지 메커니즘을 도입하며, 각각은 LLM에 대한 성능 가정 없이도 일반적인 커널에 대해 준선형 누적 후회를 보장하는 무해(no-harm) 이론적 보장을 갖는다. 이러한 이론적 보장 외에도, 시뮬레이션 연구를 통해 LLINBO가 기존 LLM 기반 BO를 더 신뢰할 수 있게 만들면서도 LLM의 퓨샷 학습 능력을 활용하여 고전적 BO보다 우수한 성능을 낸다는 것을 보인다. 또한 실제의 비용이 많이 드는 3D 프린팅 실험에서의 실용적 활용을 추가로 시연한다. 코드는 https://github.com/UMDataScienceLab/LLM-in-the-Loop-BO 에서 확인할 수 있다.

arXiv:2505.08854v2cs.CV공통 태그 Autonomous Vehicles공식 코드 · Papers with Code

자율주행을 위한 생성형 AI: 최전선과 기회

Generative AI for Autonomous Driving: Frontiers and Opportunities

생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.