arXiv:2212.13667

Learning When to Use Adaptive Adversarial Image Perturbations against Autonomous Vehicles

Hyung-Jin Yoon, Hamidreza Jafarnejadsani, Petros Voulgaris

제출 2022-12-28

원문 초록

The deep neural network (DNN) models for object detection using camera images are widely adopted in autonomous vehicles. However, DNN models are shown to be susceptible to adversarial image perturbations. In the existing methods of generating the adversarial image perturbations, optimizations take each incoming image frame as the decision variable to generate an image perturbation. Therefore, given a new image, the typically computationally-expensive optimization needs to start over as there is no learning between the independent optimizations. Very few approaches have been developed for attacking online image streams while considering the underlying physical dynamics of autonomous vehicles, their mission, and the environment. We propose a multi-level stochastic optimization framework that monitors an attacker's capability of generating the adversarial perturbations. Based on this capability level, a binary decision attack/not attack is introduced to enhance the effectiveness of the attacker. We evaluate our proposed multi-level image attack framework using simulations for vision-guided autonomous vehicles and actual tests with a small indoor drone in an office environment. The results show our method's capability to generate the image attack in real-time while monitoring when the attacker is proficient given state estimates.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24757v1cs.AR공통 태그 object-detection, Autonomous Vehicles

NPU 가속기: FINN을 활용한 PYNQ-Z1 기반의 양자화된 실시간 차량 검출

NPU Accelerator: Quantized Real-Time Vehicle Detection on PYNQ-Z1 Using FINN

본 논문에서는 자원 제약이 있는 PYNQ-Z1 보드의 Xilinx Zynq XC7Z020 디바이스에서 실시간 차량 검출을 수행하기 위한 신경망 처리 장치(NPU) 가속기의 설계, 최적화, 구현 및 보드 상 검증(on-board validation)을 제시합니다. 본 연구는 양자화 인식 학습(QAT), 경량 YOLO 기반 검출기, Brevitas/QONNX 모델 익스포트, FINN 데이터플로우 컴파일, Vivado 구현, 그리고 대상 보드에서의 물리적 벤치마킹을 결합한 하드웨어/소프트웨어 통합 설계 방법론을 따릅니다. 성공적인 배포를 정의하는 네 가지 동시 엔지니어링 요구 조건은 30 FPS 이상의 처리량(throughput), 7 FPS/W 이상의 에너지 효율, 50 ms 미만의 프로그래머블 로직(PL) 하드웨어 지연 시간(latency), 0.55 [email omitted] 초과하는 Pascal VOC 검출 정확도입니다. 설계 공간에는 LP-YOLO 및 LP-YOLO Slim 변형, 커스텀 YOLOv3-tiny 레퍼런스, 4비트 및 혼합 저비트 양자화, 320$\times$320 및 256$\times$256 입력, 수동 및 자동 FIFO 사이징, 100~200 MHz 범위의 프로그래머블 로직 클럭이 포함됩니다. 최종 LP-YOLO Slim 구성은 256$\times$256 입력, w2a4 양자화, 142.86 MHz PL 클럭을 사용합니다. 배치 100에서 2.91 W 전력으로 35.66 FPS에 도달하여 12.25 FPS/W를 달성하였으며, 측정된 PL 지연 시간은 45.11 ms, VOC [email omitted] 0.594입니다. 이는 제공된 측정값 기준으로 네 가지 요구 조건을 동시에 만족하는 유일하게 평가된 구성입니다. 이러한 결과는 저비트 QAT, 아키텍처 슬리밍, FINN 폴딩 및 FIFO 최적화, 그리고 적절한 클럭 스케일링이 결합되어 소형 Zynq FPGA 상에서 실용적인 실시간 검출기를 제공할 수 있음을 보여줍니다.

arXiv:2607.21243v1cs.CV공통 태그 object-detection, Object Detection

탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.

arXiv:2607.13830v2cs.RO공통 태그 Object Detection, Autonomous Vehicles

재귀 ArUco 마커: 무인항공기 착륙 패드를 위한 확장 가능한 피듀셜 마커 설계

Recursive ArUco Markers: A Scalable Fiducial Marker Design for Unmanned Aerial Vehicle Landing Pads

무인항공기(UAV)는 자율 항법 및 정밀 착륙을 위해 시각적 피듀셜 마커(fiducial marker)에 점점 더 의존하고 있다. 그러나 표준 마커는 운용 거리가 제한적이라, 카메라가 너무 멀거나 너무 가까울 때 탐지되지 않는다. 재귀 및 프랙탈(fractal) 마커가 이 문제를 해결하기 위해 제안되었지만, 기존 접근법은 마커의 중심이 계속 보여야 하여 가려짐(occlusion)에 취약하거나, 재귀 깊이와 배치에 제한이 있다. 우리는 새로운 재귀 ArUco 마커 설계를 제안한다. 우리 방법은 임의의 깊이를 갖는 재귀 마커로 어떤 표준 피듀셜 마커든 변환할 수 있게 한다. 탐지 시 수정된 비트 샘플링(bit-sampling) 전략을 사용하여, 부모 마커의 검은색과 흰색 비트 모두에 완전한 마커를 내장한다. 이 접근법은 마커의 중심이 보이는 것에 의존하지 않으므로, 부분적 가림이 있어도 무제한 재귀 깊이와 견고한 탐지를 보장한다. 또한 모든 재귀 스케일에서 단일 고유 식별자를 유지함으로써, 본 제안은 다수의 고유 착륙 패드를 포괄하는 광범위한 사전(dictionary)을 제공한다. 이 기능은 각 드론이 지정된 위치에 착륙하면서 UAV 무리가 동시에 운용되도록 하며, 이는 구조적 및 사전 제약으로 인해 기존 Fractal 및 Harco 마커가 지원하지 않는 기능이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.