Less is More: A Stealthy and Efficient Adversarial Attack Method for DRL-based Autonomous Driving Policies
원문 초록
Despite significant advancements in deep reinforcement learning (DRL)-based autonomous driving policies, these policies still exhibit vulnerability to adversarial attacks. This vulnerability poses a formidable challenge to the practical deployment of these policies in autonomous driving. Designing effective adversarial attacks is an indispensable prerequisite for enhancing the robustness of these policies. In view of this, we present a novel stealthy and efficient adversarial attack method for DRL-based autonomous driving policies. Specifically, we introduce a DRL-based adversary designed to trigger safety violations (e.g., collisions) by injecting adversarial samples at critical moments. We model the attack as a mixed-integer optimization problem and formulate it as a Markov decision process. Then, we train the adversary to learn the optimal policy for attacking at critical moments without domain knowledge. Furthermore, we introduce attack-related information and a trajectory clipping method to enhance the learning capability of the adversary. Finally, we validate our method in an unprotected left-turn scenario across different traffic densities. The experimental results show that our method achieves more than 90% collision rate within three attacks in most cases. Furthermore, our method achieves more than 130% improvement in attack efficiency compared to the unlimited attack method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자율주행 차량 내비게이션을 위한 비전-언어 모델 기반 GNSS 스푸핑 탐지 개발
Development of Vision-Language Model-based GNSS Spoofing Detection for Autonomous Vehicle Navigation
자율주행 차량(AV)은 위치 추정 및 항법을 위해 위성항법시스템(GNSS)에 의존하므로, 차량을 은밀하게 다른 경로로 유도하거나 위험한 기동을 유발할 수 있는 스푸핑 공격에 취약하다. 본 논문에서는 전방 카메라 시각 데이터와 차량 내 센서 측정값(예: 속도, 가속도, 요율)을 GNSS에서 유도된 기동과 융합하여, 자율주행 차량의 GNSS 스푸핑 탐지를 위한 최초의 비전-언어 모델(VLM) 기반 프레임워크를 개발한다. 우리 접근법은 먼저 시각적 단서를 그라운딩하고, 이어 공유 의미 공간 내에서 센서 데이터를 보정하여 세 가지 공격 시나리오에 걸쳐 예측된 기동과 GNSS에서 유도된 기동 간의 불일치를 탐지하는 3단계 미세조정 과정을 도입한다. 또한 앨라배마주 터스커루사(Tuscaloosa, Alabama)의 공공 도로에서 계측 장비가 탑재된 차량을 주행하며 시간 동기화된 GNSS, IMU, 카메라 로그를 수집해 독립적인 실세계 데이터셋을 생성하고, 학습 데이터와 다른 미관측 데이터에 대한 미세조정 모델의 지역 간 일반화를 검증했다. 이 데이터셋에서 잘못된 방향 전환 공격을 위한 도로망 스냅핑을 적용한 궤적 미러링, 오버슈트 시나리오를 위한 위치 동결, 정지 공격을 위한 드리프트 생성 등 지능형 스푸핑 공격을 생성했다. 이 검증 데이터셋에서 제로샷 VLM 기준선의 F1-score는 23%에서 32% 범위인 반면, 우리의 미세조정 모델은 94%에서 95% 범위의 F1-score를 달성했다. 결과는 우리의 VLM 기반 접근법이 모든 잘못된 방향 전환 및 정지 공격을 올바르게 분류했으며, 오버슈트 공격에 대해 88%-93%의 정확도를 달성함을 보여준다. 또한 VLM 호출을 14%로 줄여(약 86%의 연산량 감소) 4초 윈도우당 65ms-73ms를 달성하는 적응형 추론 정책을 도입한다. 이 결과는 VLM을 활용하여 신호 수준 무결성 검사를 보완하는 실용적인 도로 주행 방어 층을 시사한다.
비정상 강화학습에서 안전성 제약으로서의 조정 속도
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
비정상성 하에서 강화학습의 안전성을 보장하려면, 학습 시스템이 요구되는 회복 지평(recovery horizon) 내에서 예측된 환경 변화에 안전하게 적응할 수 있는지 판단해야 한다. 기존의 안전 강화학습(safe reinforcement learning) 방법은 일반적으로 정상(stationary) 환경을 가정하며, 적응 속도를 안전성 문제로 명시적으로 고려하지 않는다. 그러나 환경이 시간에 따라 변화할 때, 적응이 지연되면 일시적인 불안전 행동이 발생할 수 있다. 본 논문은 비정상 강화학습을 위한 안전성 제약으로 조정 속도를 제안한다. 핵심 아이디어는 적응 가능성(adaptation feasibility)의 관점에서 안전성을 정의하는 것이다: 안전을 유지하는 데 필요한 적응이 학습 시스템의 보정된 회복 용량(calibrated recovery capacity)을 초과하면, 미래 상태나 영역이 불안전해질 수 있다. 제안된 프레임워크는 학습된 컨텍스트 표현과 단기 지평 컨텍스트 예측을 사용하여 적응 수요를 추정하고, 이를 에이전트의 달성 가능한 적응 용량과 비교한다. 예측된 적응 수요가 보정된 회복 용량을 초과하면, 프레임워크는 위반 발생 전에 불안전 행동을 줄이기 위해 허용 가능한 행동 집합을 선제적으로 축소하고 행동 수준(action-level) 쉴드를 활성화한다. 비정상 운전 환경에서의 실험은 제안된 접근법이 주로 컨텍스트 변화와 정렬된 단기 지평 윈도우에서 안전 위반을 줄임을 보여준다. Ablation 연구는 쉴드가 피크 및 꼬리(tail) 위험 억제에 더 보수적이며, 최적화 수준의 조정이 단기 전환 조건(switch-conditioned) 위반을 추가로 줄임을 더 보여준다. 이 결과는 적응 가능성이 비정상성 하 강화학습을 위한 실용적인 안전 원칙임을 뒷받침하며, 선제적 개입이 환경 변화 기간 동안 안전성을 개선할 수 있음을 보여준다.
TOUR: 오프라인 강화학습을 위한 궤적 수준 언러닝 벤치마크
TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning
오프라인 강화학습(RL) 에이전트는 고정된 행동 궤적으로 학습되므로, 학습 후 선택된 데이터를 제거해야 할 때 궤적 수준 삭제가 중요하다. 이러한 삭제를 평가하기는 어렵다. 더 낮은 멤버십 점수가 궤적 제거, 다른 공격에 드러나는 잔존 기억, 또는 유용한 행동을 파괴하는 정책 붕괴를 반영할 수 있기 때문이다. 우리는 오프라인 RL에서의 궤적 수준 기억과 언러닝(Trajectory-level memOrization and Unlearning in offline RL, TOUR)을 소개한다. 이 벤치마크는 궤적 수준 분할, 매칭된 비멤버 대조군, 재학습 기준, 유지 성능 앵커, 다중 공격 프라이버시 감사를 결합한다. D4RL locomotion 실험과 탐색적 AntMaze 확장 전반에 걸쳐 TOUR는 일반적인 삭제 베이스라인이 환경에 따라 다른 프라이버시-유틸리티 거동을 보임을 보여준다. 재학습과 미세조정은 균일한 GA+Refit보다 더 강한 유지 유틸리티 기준을 제공하는 경우가 많으며, TrajDeleter는 유용한 비교 대상으로 남지만 동일한 감사 하에서는 일관되게 더 강하지는 않다. 기준 모델, 임계값, 편차, 동등성, 행동 오류, 표현 기반, 쿼리 제한 공격은 추가로 단일 가능도 기반 멤버십 점수가 삭제 품질을 과대평가할 수 있음을 보여준다. 평가된 설정에서 오프라인 RL 언러닝에 대한 결론은 따라서 단일 점수 감사 하에서는 안정적이지 않다. 이들은 매칭된 비멤버 구성, 재학습 상대 보정, 공격 계열, 유지 유틸리티, 그리고 진단 아키텍처 또는 구성요소 수준 증거에 대한 명시적 범위에 의존한다.
신호등 없는 교차로에서 자율주행 차량을 위한 압축 잠재 조율
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
Intelligent Resource Allocation in Joint Radar-Communication With Graph Neural Networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.