arXiv:2402.11813

A novel framework for adaptive stress testing of autonomous vehicles in highways

Linh Trinh, Quang-Hung Luu, Thai M. Nguyen, Hai L. Vu

제출 2024-02-19

원문 초록

Guaranteeing the safe operations of autonomous vehicles (AVs) is crucial for their widespread adoption and public acceptance. It is thus of a great significance to not only assess the AV against the standard safety tests, but also discover potential corner cases of the AV under test that could lead to unsafe behaviour or scenario. In this paper, we propose a novel framework to systematically explore corner cases that can result in safety concerns in a highway traffic scenario. The framework is based on an adaptive stress testing (AST) approach, an emerging validation method that leverages a Markov decision process to formulate the scenarios and deep reinforcement learning (DRL) to discover the desirable patterns representing corner cases. To this end, we develop a new reward function for DRL to guide the AST in identifying crash scenarios based on the collision probability estimate between the AV under test (i.e., the ego vehicle) and the trajectory of other vehicles on the highway. The proposed framework is further integrated with a new driving model enabling us to create more realistic traffic scenarios capturing both the longitudinal and lateral movements of vehicles on the highway. In our experiment, we calibrate our model using real-world crash statistics involving automated vehicles in California, and then we analyze the characteristics of the AV and the framework. Quantitative and qualitative analyses of our experimental results demonstrate that our framework outperforms other existing AST schemes. The study can help discover crash scenarios of AV that are unknown or absent in human driving, thereby enhancing the safety and trustworthiness of AV technology.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10926v1cs.LG공통 태그 Deep Reinforcement Learning, Autonomous Vehicles

강화학습 및 게임 이론을 활용한 자원 제약 차량 사물 인터넷 환경용 적응형 다중 판별자 WGAN 프레임워크

Adaptive Multi-Discriminator WGAN Framework for Resource-Constrained Internet of Vehicles Using Reinforcement Learning and Game Theory

머신러닝 워크로드를 네트워크 서비스로 관리하는 것은 기존의 모델 학습(training)과는 다른 자원 오케스트레이션 문제를 발생시킵니다. 즉, 어떤 노드(node)를 작업에 할당해야 하는지, 통신 및 연산 예산을 노드 간에 어떻게 분배해야 하는지, 그리고 이동성에 따라 연결성과 노드 가용성이 변화할 때 서비스 품질을 어떻게 유지해야 하는지의 문제입니다. 차량 사물 인터넷(IoV) 환경에 생성적 적대 신경망(GAN)을 배포하는 것은 이러한 문제의 대표적인 고난도 사례입니다. 자원 제약, 동적인 네트워크 토폴로지, 그리고 상충하는 최적화 목표로 인해 기존 GAN 아키텍처는 높은 정확도, 효율적인 자원 사용, 낮은 지연 시간, 낮은 통신 오버헤드를 동시에 달성할 수 없습니다. 본 논문에서는 이러한 문제를 종합적으로 해결하기 위해 강화학습(reinforcement learning)과 게임 이론 기반 조율을 통합한 적응형 다중 판별자 바서슈타인 GAN(MD-WGAN) 프레임워크를 제안합니다. 제안하는 프레임워크에서는 노변 기지국(RSU)이 판별자 하위 집합을 선택하고 이동 차량 노드 전반의 분산 학습을 관리하는 심층 Q 네트워크(DQN) 에이전트와 결합된 생성자를 호스팅하며, 게임 이론 기반 조율 단계를 통해 생성자와 판별자 간의 학습 에포크를 할당합니다. 통합 최적화 목적 함수는 차량 환경의 제약 조건 하에서 적대적 학습 품질을 자원 효율성, 통신 오버헤드, 지연 시간과 연계하여, 네트워크 조건이 변함에 따라 프레임워크가 학습 동작을 지속적으로 적응시킬 수 있도록 합니다. 실제 NGSIM 궤적 데이터를 활용한 평가 결과, 본 프레임워크는 최고 수준의 최신 GAN 베이스라인과 대등한 예측 정확도를 달성하여 평가된 모든 방법 중 가장 낮은 RMSE(1.029) 및 MAE(0.894)를 기록하는 동시에, 경쟁력 있는 통신 오버헤드와 지연 시간을 유지하면서 평균 CPU 사용률을 약 28%, 평균 메모리 사용량을 약 6% 대폭 절감하여 자원 효율성을 뚜렷하게 향상시킴을 입증했습니다.

arXiv:2607.21488v1cs.LG공통 태그 Deep Reinforcement Learning, Autonomous Vehicles

신호등 없는 교차로에서 자율주행 차량을 위한 압축 잠재 조율

Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections

신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.

arXiv:2607.09772v1cs.RO공통 태그 Deep Reinforcement Learning, Autonomous Vehicles

자율주행 안전 검증을 위한 위험 필드 강화 폐루프 디지털 트윈 프레임워크

A Risk-Field Enhanced Closed-Loop Digital Twin Framework for Autonomous Driving Safety Validation

자율주행 시스템은 실세계 배포 전 신뢰할 수 있는 안전 검증(validation)이 필요하다. 그러나 대규모 도로 주행 테스트는 비용이 많이 들고 재현이 어려우며, 희귀한 안전 임계 시나리오를 노출하는 데 비효율적이다. 기존 시뮬레이션은 반복성을 향상시키지만, 오프라인 시뮬레이터 단독으로는 물리적 교통 상태, 가상 재구성, 알고리즘 평가, 시나리오 진화를 지속적으로 연결할 수 없다. 본 논문은 자율주행 안전 검증을 위한 위험 필드 강화 폐루프 디지털 트윈 프레임워크를 제안한다. 이 프레임워크는 물리 데이터 수집, 데이터 동기화, 가상 트윈 재구성, 위험 인식 시나리오 생성, 자율주행 알고리즘 평가, 안전 분석을 통합한다. 주행 위험 필드는 자아 차량(ego vehicle) 주변의 장애물, 차선 이탈, 도로 경계, 충돌 예상 시간(TTC), 승차감 관련 위험을 기술하는 통합 중간 표현으로 도입된다. 위험 필드는 디지털 트윈 시나리오 라이브러리에서 고위험 시나리오의 순위를 매기고, 강화학습(reinforcement learning) 기반 주행 정책에 대한 밀도 있는 안전 지도를 제공한다. 기존 강화학습 베이스라인, 위험 패널티 베이스라인, 제안된 위험 필드 유도 방법을 비교하기 위한 시뮬레이션 방식 평가 프로토콜이 설계된다. 본 연구는 디지털 트윈에 명시적 위험 구조를 임베딩(embedding)함으로써 자율주행 검증을 보다 목표 지향적이고 해석 가능하며 재사용 가능하게 만들 수 있음을 시사하지만, 실질적 효과는 모델(model) 충실도, 위험 보정, 시뮬레이션-실세계 전이(sim-to-real transfer)에 의해 제한됨을 밝힌다.

arXiv:2607.09078v1cs.CV공통 태그 Deep Reinforcement Learning, Autonomous Vehicles

야생 환경에서 UAV를 위한 능동적 객체 검출: 대규모 데이터셋, 벤치마크 및 방법

Toward Active Object Detection for UAVs in the Wild: A Large-Scale Dataset, Benchmark and Method

객체 검출은 무인 항공기(UAV) 응용 분야의 핵심 구성 요소이나, 오랫동안 가림(occlusion)이나 타겟 픽셀 부족과 같은 문제에 시달려 왔다. 능동적 객체 검출(AOD)은 능동 시각(active vision)을 통해 이러한 과제를 해결하는 새로운 패러다임을 제공하지만, 알고리즘 개발 및 평가를 위한 고품질 데이터셋과 벤치마크의 부재로 인해 UAV 기반 AOD 연구는 아직 미흡한 실정이다. 이 공백을 메우기 위해 본 논문은 UAV-지상 능동적 객체 검출(UGAOD)을 위한 최초의 대규모 실세계 데이터셋인 ATRNet-LUDO를 제시한다. 이 데이터셋은 40개 시나리오에 걸쳐 10종의 차량 타겟을 포함하는 121,000개의 다시점 파노라마 다중 타겟 항공 이미지와 121만 개의 단일 타겟 로컬 슬라이스로 구성된다. 이를 통해 UAV 에이전트 상호작용 및 능동적 관측 정책 학습을 위한 다양한 학습 및 테스트 환경 구축이 가능하다. 이 데이터셋을 기반으로 AOD 정책 학습 방법에 대한 포괄적인 평가 벤치마크를 구축한다. 기존 AOD 정책의 대부분은 심층 강화학습(DRL)에 의존하지만 일반화 성능이 낮다는 문제가 있다. 제안한 벤치마크에서의 평가 결과, 학습과 테스트 성능 간에 유의미한 일반화 격차가 존재함이 드러나 해결책의 필요성이 부각된다. 이를 위해 Joint Embedding Predictive Architecture(JEPA)를 활용하여 상태 표현 학습을 강화하는 세계 모델을 구성하고, AOD 특화 사전 지식을 접목한 AOD-JEPA를 제안한다. 광범위한 실험을 통해 그 효과와 우수성을 검증한다. ATRNet-LUDO와 벤치마크가 UGAOD 분야의 연구를 발전시키는 데 기여하길 바란다. 데이터셋과 코드는 https://github.com/Leo000ooo/LUDO_dataset에 곧 공개될 예정이다.

arXiv:2607.08373v1cs.LG공통 태그 Deep Reinforcement Learning, Autonomous Vehicles

강화학습과 인간 피드백을 활용한 커넥티드 차량의 자기적응형 이상 탐지

Self-Adaptive Anomaly Detection with Reinforcement Learning and Human Feedback in Connected Vehicles

커넥티드 차량은 자율 사이버-물리 시스템으로, 장애로 전파되기 전에 정상 동작으로부터의 이탈을 탐지하기 위해 운행 중 지속적인 모니터링이 필요하다. 이러한 평가는 시스템 자체가 진화하기 때문에 어렵다. 무선 업데이트(over-the-air update), 구성 변경, 워크로드 변화가 정상 동작의 정의를 바꾸어 정적 진단 방법이 시간이 지남에 따라 소리 없이 성능이 저하된다. 기존 접근법은 단일하게 조율된 감독 루프가 아닌, 자동화된 모델 적응이나 운영자 통합 중 하나만을 개별적으로 다루는 경우가 대부분이다. 본 논문은 세 가지 조율된 메커니즘을 통합한 자율 CPS용 온라인 이상 탐지 프레임워크를 제시한다. 자기 어텐션(self-attention)을 적용한 분해형 심층 Q 네트워크(deep Q-network)가 마이크로서비스 토폴로지의 서비스 간 의존성을 활용하여 모니터링 대상 서비스마다 후보 풀에서 가장 적합한 탐지기를 선택한다. 세 가지 통계적 드리프트 탐지기의 앙상블(ensemble)이 입력 분포를 감시하며, 세 탐지기 모두 동의할 때만 경보를 발생시켜 재현율보다 정밀도를 우선시한다. 대기 전환 버퍼(pending transition buffer)와 60/40 우선순위 리플레이 전략을 기반으로 구축된 인간 참여 루프(human-in-the-loop) 재학습 메커니즘은 운영자가 이전 데이터 분포에 대한 학습된 응답을 보존하면서 전문가 지식을 반영할 수 있게 한다. 본 프레임워크는 7개의 백엔드 마이크로서비스에서 자동 발렛 파킹 애플리케이션을 실행하는 커넥티드 차량 테스트베드에서 평가되었다. 어텐션 강화 에이전트(agent)는 F1 점수 0.69를 달성하였으며, 이는 단일 탐지기를 일괄 적용했을 때의 최대치인 0.11과 비교된다. 측정 가능한 개념 드리프트(concept drift)를 유발하는 실제 소프트웨어 업데이트 이후 F1이 0.52로 하락하였으나, 운영자가 촉발한 재학습 후 새로운 분포에서 0.65로 회복되면서 이전 분포에서는 0.69를 유지하여 파국적 망각(catastrophic forgetting) 없는 지속적 적응을 입증하였다.

arXiv:2607.03177v1cs.SE공통 태그 Deep Reinforcement Learning, Autonomous Vehicles

CRRL: 자율 시스템 복구를 위한 인과관계 기반 강화학습 프레임워크

CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

자율 시스템 복구를 위한 전통적인 강화학습(RL)은 인과적 이해가 부족하고 새로운 장애 시나리오에 대한 일반화 성능이 낮다. RL 정책은 장애 상태에서 자주 정체되어 에피소드의 최대 70%를 움직이지 못한 채 소비한다. 규칙 기반 복구만으로는 불충분하며, 사전학습된 PPO 정책에 휴리스틱 복구를 추가하면 정책이 예상치 못한 개입과 잘 협조하지 못하기 때문에 보상이 오히려 악화된다. 문제는 복구 메커니즘의 부재가 아니라, 복구 메커니즘과 협력하도록 학습된 정책이 없다는 점이다. 우리는 규칙 기반 복구와 효과적으로 연동되는 정책을 학습시키는 인과관계 기반 RL 프레임워크인 CRRL을 제안한다. 복구 모듈은 정체 상태를 감지하고 에이전트를 지원한다. 주행 로그에서 추출한 인과 관계가 학습 신호를 형성하여, 정책이 정체를 예측하고 복구 컨텍스트에서 행동을 조정하도록 유도한다. 본 프레임워크는 MAPE-K 구조를 따르며, 센서 수집, 인과 모델 구성, 하이브리드 RL 정책 학습이 각각 Monitor, Analyze, Plan/Execute에 대응한다. 우리는 세 가지 주행 시나리오에 걸쳐 조건당 20개 에피소드로 구성된 4조건 절제 연구를 통해 CRRL을 평가한다. 인과관계 기반 학습이 보상, 주행 거리, 속도를 유의미하게 향상시킴을 확인하였다. 또한 라운드어바웃 에피소드 20개 중 9개에서 복구 개입이 전혀 필요하지 않아 주행 역량이 입증되었다. 이러한 결과는 인과관계 기반 학습이 규칙 기반 안전 구성 요소와 협력하는 효과적인 RL 정책을 생성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.