arXiv:2310.14162

Augmenting End-to-End Steering Angle Prediction with CAN Bus Data

Rohan Gupta

제출 2023-10-22

원문 초록

In recent years, end to end steering prediction for autonomous vehicles has become a major area of research. The primary method for achieving end to end steering was to use computer vision models on a live feed of video data. However, to further increase accuracy, many companies have added data from light detection and ranging (LiDAR) and or radar sensors through sensor fusion. However, the addition of lasers and sensors comes at a high financial cost. In this paper, I address both of these issues by increasing the accuracy of the computer vision models without the increased cost of using LiDAR and or sensors. I achieved this by improving the accuracy of computer vision models by sensor fusing CAN bus data, a vehicle protocol, with video data. CAN bus data is a rich source of information about the vehicle's state, including its speed, steering angle, and acceleration. By fusing this data with video data, the accuracy of the computer vision model's predictions can be improved. When I trained the model without CAN bus data, I obtained an RMSE of 0.02492, while the model trained with the CAN bus data achieved an RMSE of 0.01970. This finding indicates that fusing CAN Bus data with video data can reduce the computer vision model's prediction error by 20% with some models decreasing the error by 80%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22967v1cs.CV공통 태그 Autonomous Vehicles, Sensor Fusion

범용 협력 지능: 회복력 있는 다중 에이전트 생태계를 위한 인지 아키텍처

General Collaborative Intelligence: Architecting Cognition for Resilient Multi-Agent Ecosystems

다중 에이전트 무인 시스템은 고립된 자기 중심적 sensing에서 협력 지능으로 이동하고 있으며, 분산 에이전트들이 압축된 특징(feature)을 교환하여 어떤 단일 에이전트도 벗어날 수 없는 국소 관측의 함정—가림(occlusion), 유한한 센서 범위, 환경 열화—to overcome. 해당 분야는 아키텍처, 통신, embodied, 회복력(resilience), 신뢰 차원에서 성숙해 왔지만, 기존 서베이는 이러한 차원을 각각 따로 다루며 그 의존 관계를 거의 드러내지 않는다. 본 리뷰는 두 가지 상보적 렌즈를 통해 통합적 종합을 제시한다. 첫째는 협력 단계, 통신 패러다임, 융합 아키텍처, 학습 전략, 응용 도메인에 걸친 5차원 분류체계이다. 둘째는 인지적 시너지를 운영 기준으로 전환하는 세 가지 인지적 시너지 조건—의미적 모호성 해소(Semantic Disambiguation), 화용론적 정보 교환(Pragmatic Information Exchange), 선제적 정보 탐색(Proactive Informational Foraging)—이다. 이러한 렌즈를 통해 협력 아키텍처와 토폴로지, 채널을 미분 가능한 파이프라인 구성요소로 다루는 신경-통신 공동 설계(neural-communication co-design), 다중 에이전트 강화학습을 통한 embodied 행동-지각 루프, 동기화·불확실성 정량화·라벨 효율적 학습을 위한 회복력 메커니즘을 조망한다. 이어 이러한 진전을 V2X, 무인 항공, 산업 물류, 스마트 시티의 네 가지 운영 도메인과 안전-프라이버시-유용성(safety-privacy-utility) 삼각 관계에 대응시킨다. 벤치마크 포화와 평가 파편화에 대응하기 위해, 본문은 협력 방법의 트레이드오프를 연구 간 비교 가능하게 만드는 성숙도 모델을 갖춘 5기둥 scoring 프로토콜 GCI-Bench를 제안한다. 재현성, sim-to-real 격차, 협력이 성능을 저하시키는 조건에 대한 비판적 성찰을 통해 미해결 과제를 밝히고, 실세계 불확실성 하에서 범용 협력 지능을 향한 방향을 제시한다.

arXiv:2607.00710v1cs.CV공통 태그 Autonomous Vehicles, Sensor Fusion

영향력 있는 자율주행 데이터셋 구축: 연구 공백에서 벤치마크까지의 전략적 가이드

Creating Impactful Autonomous Driving Datasets: A Strategic Guide from Research Gap to Benchmark

잘 설계된 자율주행 데이터셋은 연구 발전을 근본적으로 형성해 왔지만, 기존 문헌은 데이터셋이 무엇을 포함하는지를 주로 설명할 뿐, 어떻게 영향력 있는 데이터셋을 전략적으로 설계하는지는 다루지 않는다. 이는 특히 희소한 자원을 잘못 배분할 여유가 없는 중소 규모 연구실과 스타트업에게 큰 제약이 된다. 우리는 영향력 있는 데이터셋 구축이 진단에서 시작된다고 주장한다: 연구 질문이 데이터 문제로 막혀 있는지 아니면 평가 문제로 막혀 있는지를 파악하고, 그 공백을 메울 최소한의 데이터 연산자를 선택하며, 더 저렴한 연산자로 충분하지 않을 때만 새로운 데이터를 수집하는 것이다. 우리는 이러한 관점에서 주요 자율주행(AD) 데이터셋의 발전 과정을 분석하고, 공백 식별, 연산자 선택, 센서 슈트 설계, 어노테이션 전략을 아우르는 전략적 프레임워크를 도출한다. 우리는 KITScenes 데이터셋 패밀리의 실제 사례 연구를 통해 이 프레임워크를 구체화한다. 데이터셋은 https://kitscenes.com/ 에서 이용 가능하다.

arXiv:2606.27556v1cs.CV공통 태그 Autonomous Vehicles, Sensor Fusion

자동 긴급 제동을 위한 레이더 유도 카메라 검증: 레이더-카메라 융합에서 객체 검출의 재고

Radar Guided Camera Verification for Automatic Emergency Braking Rethinking Object Detection in Radar Camera Fusion

레이더-카메라 융합은 레이더가 신뢰할 수 있는 거리 및 속도 측정을 제공하고 카메라가 객체에 대한 적절한 시각적 확인을 제공하기 때문에 자동 긴급 제동(AEB) 시스템에서 널리 사용된다. 배포된 시스템의 대부분은 계산 비용이 큰 객체 검출기를 사용하여 이 확인을 수행한다. 하지만 레이더가 이미 대상을 위치 특정했다면, 카메라는 객체를 식별하는 전체 문제를 풀기보다는 장애물의 존재만 검증하면 될 수 있다. 본 연구는 레이더 유도 이미지 관심 영역(ROI) 내에서 장애물 검증을 수행하는 레이더 범위 엣지 밀도 게이트를 제안한다. 이 방법은 학습 데이터, 모델 가중치, 또는 GPU 가속이 필요하지 않으며, brake-by-wire 작동이 가능한 완전한 레이더-카메라 융합 AEB 시스템에 통합되었다. 실제 장비가 탑재된 차량에서 72회의 주행 세션과 131,603개의 카메라 프레임에 대해 평가한 결과, 제안된 방법은 카메라 검색 공간을 최대 98.7% 줄였고, ROI당 평균 처리 지연 시간 0.121 ms, AUC 0.898, 재현율 0.994를 달성했다. 33개의 단계적 위협 시나리오에서, 완전한 AEB 시스템은 놓친 브레이크 이벤트가 0건으로 기록되었다.

arXiv:2606.25111v1cs.RO공통 태그 Autonomous Vehicles, Sensor Fusion

ADM-Fusion: 다양한 환경에서 강건한 자기 운동 추정을 위한 적응형 심층 다중 센서 융합

ADM-Fusion: Adaptive Deep Multi-Sensor Fusion for Robust Ego-Motion Estimation in Diverse Conditions

다양하고 열화된 환경에서 신뢰할 수 있는 자율 주행을 위해서는 강건한 다중 센서 융합이 필수적이며, 이러한 환경에서는 센서 신뢰도가 빠르게 변동할 수 있다. 서로 다른 모달리티는 각기 다른 방식으로 오류가 발생하기 때문에, 효과적인 융합은 고정된 가중치에 의존하지 않고 상호 보완적인 단서들을 적응적으로 균형 있게 활용해야 한다. 이러한 적응성은 자기 운동 추정(ego-motion estimation)에서 특히 중요한데, 정확한 업데이트는 상호 보완적인 센서 정보의 일관된 통합에 달려 있기 때문이다. 우리는 환경 변화와 센서 열화에 적응하도록 설계된 엔드투엔드 심층 학습(deep learning) 기반 다중 센서 융합 방법인 ADM-Fusion을 제안한다. ADM-Fusion은 콘텐츠 인식 라우팅(content-aware routing)을 갖춘 적응형 센서 전문가 혼합(MoE) 프레임워크를 활용하여 실시간으로 센서 입력에 동적으로 가중치를 할당한다. 또한 본 시스템은 교차 태스크 어텐션(attention) 메커니즘으로 결합된 별도의 이동(translation) 및 회전(rotation) 브랜치를 통합하여, 정보 공유를 가능하게 하면서도 태스크별 특화를 유지한다. ADM-Fusion은 CARLA-LOC 시뮬레이션 데이터셋(dataset)으로 학습된 후 KITTI 실세계 데이터에 대해 파인튜닝되어, 효과적인 시뮬레이션-실환경 전이(simulation-to-real transfer)를 입증한다. 실험 결과, ADM-Fusion은 열화된 조건에서도 강건성을 유지하면서 기존 방법들과 경쟁력 있는 성능을 달성함을 보여준다.

arXiv:2606.19176v1cs.RO공통 태그 Autonomous Vehicles, Sensor Fusion

자율 해상 UAV 비행을 위한 딥 모노큘러 자세 추정의 하드웨어 및 비전 인 더 루프 검증

Hardware- and Vision-in-the-Loop Validation of Deep Monocular Pose Estimation for Autonomous Maritime UAV Flight

선상 자율 UAV 운용에는 신뢰할 수 있는 비전 기반 상대 자세 추정이 필요하지만, 해상 검증은 비용이 많이 들고 날씨에 의존적이며 위험합니다. 본 논문은 사실적인 해상 환경을 모사하면서 완전 자율 실내 비행을 가능하게 하는 하드웨어 검증된 비전 인 더 루프 프레임워크를 제시합니다. 렌더링된 해상 뷰는 딥 트랜스포머 기반 모노큘러 자세 추정기에 의해 온보드에서 처리됩니다. 지연된 비전 측정값은 지연된 칼만 필터를 사용하여 고주파 IMU 데이터와 융합되어, 기하학적 제어를 위해 일관된 상태 추정값을 제공합니다. 이 시스템은 순수 시뮬레이션에는 없는 인식 지연, 비동기 업데이트, 연산 제약 등 중요한 임베디드 효과들을 포착합니다. 자율 이륙, 궤적 추적, 착륙 실험을 통해 안정적인 폐루프 비행이 입증되었습니다. 결과는 선상 배치 전 해상 UAV 자율성을 개발하기 위한 안전하고 하드웨어 현실적인 중간 단계를 확립합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.