arXiv:2202.11330

EcoFusion: Energy-Aware Adaptive Sensor Fusion for Efficient Autonomous Vehicle Perception

Arnav Vaibhav Malawade, Trier Mortlock, Mohammad Abdullah Al Faruque

제출 2022-02-23

원문 초록

Autonomous vehicles use multiple sensors, large deep-learning models, and powerful hardware platforms to perceive the environment and navigate safely. In many contexts, some sensing modalities negatively impact perception while increasing energy consumption. We propose EcoFusion: an energy-aware sensor fusion approach that uses context to adapt the fusion method and reduce energy consumption without affecting perception performance. EcoFusion performs up to 9.5% better at object detection than existing fusion methods with approximately 60% less energy and 58% lower latency on the industry-standard Nvidia Drive PX2 hardware platform. We also propose several context-identification strategies, implement a joint optimization between energy and performance, and present scenario-specific results.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00330v2cs.RO공통 태그 Object Detection, Navigate

장기 객체 탐색을 위한 회고적 개방형 어휘 메모리

Retrospective Open-Vocabulary Memory for Long-Term Object Search

장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/

arXiv:2609.22277v1cs.AI공통 태그 Object Detection, Navigate

시각장애인 다중모달 이동 보조를 위한 저렴한 AI 통합 스마트 지팡이

An Affordable AI-Integrated Smart Cane for Multimodal Mobility Assistance of Visually Impaired Users

전 세계 22억 명 이상이 시각장애를 겪고 있으나, 기존 흰 지팡이는 높이 있는 위험 요소를 감지하거나 의미론적 환경 맥락을 제공할 수 없다. 기존 AI 보조 내비게이션 시스템은 일반적으로 고가의 하드웨어 또는 클라우드 연결에 의존하여, 자원이 제한된 환경에서의 접근성을 제한한다. 본 논문은 초저전력 Raspberry Pi Zero 2W에서 다중모달 이동 보조를 위해 설계된 저렴한(88 USD) 완전 오프라인 AI 통합 스마트 지팡이를 제안한다. 시스템은 RGB 비전 감지와 Time-of-Flight(ToF) 거리 추정을 융합하고, INT8 양자화 SSD MobileNet V1 모델을 거리 인식 진동 촉각 피드백 및 실시간 오디오 알림과 결합한다. 제한된 하드웨어에서의 운영 견고성을 위해, 멀티프로세싱 아키텍처가 센서 획득, 신경망 추론, 햅틱 피드백을 장애 안전 센싱 지원과 함께 독립 프로세스로 분리한다. 실내 이동 시나리오에 걸친 실험 평가는 macro-averaged F1-score 0.82(정밀도: 0.85, 재현율: 0.81), 평균 end-to-end 지연 330 ms, 최대 전력 소모 2.8 W를 보여준다. 12명 참가자(SUS: 78.5, NASA-TLX)를 대상으로 한 예비 사용성 연구는 긍정적인 사용자 인식과 향상된 장애물 인식을 보여주었다. 제안된 프로토타입은 비용에 민감한 이동 보조를 위한 프라이버시 보존형 엣지 네이티브 보조 지능 배포의 타당성을 검증한다.

arXiv:2609.22353v1cs.AI공통 태그 Object Detection, Navigate

PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스

PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation

이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.

arXiv:2609.24757v1cs.AR공통 태그 object-detection, Autonomous Vehicles

NPU 가속기: FINN을 활용한 PYNQ-Z1 기반의 양자화된 실시간 차량 검출

NPU Accelerator: Quantized Real-Time Vehicle Detection on PYNQ-Z1 Using FINN

본 논문에서는 자원 제약이 있는 PYNQ-Z1 보드의 Xilinx Zynq XC7Z020 디바이스에서 실시간 차량 검출을 수행하기 위한 신경망 처리 장치(NPU) 가속기의 설계, 최적화, 구현 및 보드 상 검증(on-board validation)을 제시합니다. 본 연구는 양자화 인식 학습(QAT), 경량 YOLO 기반 검출기, Brevitas/QONNX 모델 익스포트, FINN 데이터플로우 컴파일, Vivado 구현, 그리고 대상 보드에서의 물리적 벤치마킹을 결합한 하드웨어/소프트웨어 통합 설계 방법론을 따릅니다. 성공적인 배포를 정의하는 네 가지 동시 엔지니어링 요구 조건은 30 FPS 이상의 처리량(throughput), 7 FPS/W 이상의 에너지 효율, 50 ms 미만의 프로그래머블 로직(PL) 하드웨어 지연 시간(latency), 0.55 [email omitted] 초과하는 Pascal VOC 검출 정확도입니다. 설계 공간에는 LP-YOLO 및 LP-YOLO Slim 변형, 커스텀 YOLOv3-tiny 레퍼런스, 4비트 및 혼합 저비트 양자화, 320$\times$320 및 256$\times$256 입력, 수동 및 자동 FIFO 사이징, 100~200 MHz 범위의 프로그래머블 로직 클럭이 포함됩니다. 최종 LP-YOLO Slim 구성은 256$\times$256 입력, w2a4 양자화, 142.86 MHz PL 클럭을 사용합니다. 배치 100에서 2.91 W 전력으로 35.66 FPS에 도달하여 12.25 FPS/W를 달성하였으며, 측정된 PL 지연 시간은 45.11 ms, VOC [email omitted] 0.594입니다. 이는 제공된 측정값 기준으로 네 가지 요구 조건을 동시에 만족하는 유일하게 평가된 구성입니다. 이러한 결과는 저비트 QAT, 아키텍처 슬리밍, FINN 폴딩 및 FIFO 최적화, 그리고 적절한 클럭 스케일링이 결합되어 소형 Zynq FPGA 상에서 실용적인 실시간 검출기를 제공할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.