arXiv:2304.01592

PAC-Based Formal Verification for Out-of-Distribution Data Detection

Mohit Prashant, Arvind Easwaran

제출 2023-04-04

원문 초록

Cyber-physical systems (CPS) like autonomous vehicles, that utilize learning components, are often sensitive to noise and out-of-distribution (OOD) instances encountered during runtime. As such, safety critical tasks depend upon OOD detection subsystems in order to restore the CPS to a known state or interrupt execution to prevent safety from being compromised. However, it is difficult to guarantee the performance of OOD detectors as it is difficult to characterize the OOD aspect of an instance, especially in high-dimensional unstructured data. To distinguish between OOD data and data known to the learning component through the training process, an emerging technique is to incorporate variational autoencoders (VAE) within systems and apply classification or anomaly detection techniques on their latent spaces. The rationale for doing so is the reduction of the data domain size through the encoding process, which benefits real-time systems through decreased processing requirements, facilitates feature analysis for unstructured data and allows more explainable techniques to be implemented. This study places probably approximately correct (PAC) based guarantees on OOD detection using the encoding process within VAEs to quantify image features and apply conformal constraints over them. This is used to bound the detection error on unfamiliar instances with user-defined confidence. The approach used in this study is to empirically establish these bounds by sampling the latent probability distribution and evaluating the error with respect to the constraint violations that are encountered. The guarantee is then verified using data generated from CARLA, an open-source driving simulator.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10613v1cs.LG공통 태그 Anomaly Detection, Autonomous Vehicles

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2609.22896v1cs.CV공통 태그 Anomaly Detection, Autonomous Vehicles

학습이 필요 없는 분포 외 세그멘테이션을 위한 파운데이션 모델 신뢰도 및 단안 깊이 결합

Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation

개방형 환경(open-world) 시나리오에서 주행하는 자율주행 차량은 이국적인 동물이나 떨어진 화물과 같이 이전에 본 적 없는 객체에 불가피하게 직면하게 됩니다. 따라서 이러한 분포 외(OOD, Out-of-Distribution) 객체를 안정적으로 감지하고 분할(segmentation)하는 것은 안전한 환경 이해와 의사결정을 위해 매우 중요합니다. 대부분의 기존 접근 방식은 OOD 학습 샘플에 대한 접근, 세그멘테이션 백본(backbone)의 재학습, 또는 전용 보조 아키텍처를 필요로 하므로 실제 적용 가능성이 제한됩니다. 본 논문에서는 작업 특화된 미세조정(fine-tuning)이나 이상 데이터에 대한 접근 없이도, 파운데이션 세그멘테이션 모델의 신뢰도 예측으로부터 직접 조밀한(dense) OOD 점수를 도출하는 학습이 필요 없는(training-free) 방법을 제안합니다. OOD 세그멘테이션의 견고성을 향상하기 위해, 단안 깊이 추정(monocular depth estimation)을 통한 기하학적 정보를 의사결정 과정에 통합하여 불확실성 기반 예측에 상호보완적인 단서를 제공합니다. 제안된 방법을 SegmentMeIfYouCan 벤치마크에서 평가하고, 실제 인식 시스템의 시간적 특성을 반영하여 비디오 시퀀스에서의 OOD 추적 성능을 추가로 평가합니다. 이 방법은 도로 중심 벤치마크에서 강력한 성능을 발휘합니다.

arXiv:2607.08373v1cs.LG공통 태그 Anomaly Detection, Autonomous Vehicles

강화학습과 인간 피드백을 활용한 커넥티드 차량의 자기적응형 이상 탐지

Self-Adaptive Anomaly Detection with Reinforcement Learning and Human Feedback in Connected Vehicles

커넥티드 차량은 자율 사이버-물리 시스템으로, 장애로 전파되기 전에 정상 동작으로부터의 이탈을 탐지하기 위해 운행 중 지속적인 모니터링이 필요하다. 이러한 평가는 시스템 자체가 진화하기 때문에 어렵다. 무선 업데이트(over-the-air update), 구성 변경, 워크로드 변화가 정상 동작의 정의를 바꾸어 정적 진단 방법이 시간이 지남에 따라 소리 없이 성능이 저하된다. 기존 접근법은 단일하게 조율된 감독 루프가 아닌, 자동화된 모델 적응이나 운영자 통합 중 하나만을 개별적으로 다루는 경우가 대부분이다. 본 논문은 세 가지 조율된 메커니즘을 통합한 자율 CPS용 온라인 이상 탐지 프레임워크를 제시한다. 자기 어텐션(self-attention)을 적용한 분해형 심층 Q 네트워크(deep Q-network)가 마이크로서비스 토폴로지의 서비스 간 의존성을 활용하여 모니터링 대상 서비스마다 후보 풀에서 가장 적합한 탐지기를 선택한다. 세 가지 통계적 드리프트 탐지기의 앙상블(ensemble)이 입력 분포를 감시하며, 세 탐지기 모두 동의할 때만 경보를 발생시켜 재현율보다 정밀도를 우선시한다. 대기 전환 버퍼(pending transition buffer)와 60/40 우선순위 리플레이 전략을 기반으로 구축된 인간 참여 루프(human-in-the-loop) 재학습 메커니즘은 운영자가 이전 데이터 분포에 대한 학습된 응답을 보존하면서 전문가 지식을 반영할 수 있게 한다. 본 프레임워크는 7개의 백엔드 마이크로서비스에서 자동 발렛 파킹 애플리케이션을 실행하는 커넥티드 차량 테스트베드에서 평가되었다. 어텐션 강화 에이전트(agent)는 F1 점수 0.69를 달성하였으며, 이는 단일 탐지기를 일괄 적용했을 때의 최대치인 0.11과 비교된다. 측정 가능한 개념 드리프트(concept drift)를 유발하는 실제 소프트웨어 업데이트 이후 F1이 0.52로 하락하였으나, 운영자가 촉발한 재학습 후 새로운 분포에서 0.65로 회복되면서 이전 분포에서는 0.69를 유지하여 파국적 망각(catastrophic forgetting) 없는 지속적 적응을 입증하였다.

arXiv:2607.05649v1cs.CV공통 태그 Anomaly Detection, Autonomous Vehicles

REVIVE: 자율주행차량의 반달리즘 탐지 및 복원을 위한 멀티모달 프레임워크

REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles

자율주행차량(AV)은 카메라 기반 인식 시스템을 손상시키는 반달리즘 유발 폐색 공격(VOA, Vandalism-induced Occlusion Attack)의 위협에 점점 더 많이 노출되고 있다. 탐지 프레임워크가 훼손된 이미지를 식별할 수 있는 반면, 물리적 폐색 이후 카메라 스트림의 유용성을 복원하는 방법은 아직 충분히 연구되지 않았다. 본 논문에서는 시각적 우수성을 위한 훼손 이미지 복원 및 향상 프레임워크인 REVIVE(Recovery and Enhancement of Vandalized Images for Vision Excellence)를 제안한다. 이 반달리즘 복원 파이프라인은 다음을 통합한다: (1) 이진 VOA 탐지, (2) 다중 클래스 VOA 패턴 식별, (3) EfficientNet 기반 U-Net 세그멘테이션, (4) BLIP(Bootstrapping Language-Image Pre-training) 가이드 Stable Diffusion 인페인팅, 직접 픽셀 대체, 또는 적응형 중앙값 필터링을 활용하는 유형 인식 복원. Stable Diffusion은 VOA 패턴에 따라 가변적인 복원 성능(패턴별 SSIM 0.667–0.867, PSNR 15.4–26.7dB)을 보이며, 정렬된 직접 픽셀 대체는 정렬 참조 조건 하에서 거의 동일한 복원을 달성한다. 500쌍의 추적된 정상/훼손 이미지 쌍에서, 복원되지 않은 VOA는 YOLOv8l 객체 탐지 재현율을 0.588로 저하시키는 반면, 직접 픽셀 대체는 정렬 참조 조건 하에서 재현율을 0.967, F1 점수를 0.970으로 복원한다. LaMa, Telea, Navier-Stokes 기준선은 이미지 유사도를 향상시키지만 하위 탐지 복원은 더 제한적이며, Stable Diffusion은 실시간 인식을 차단하는 단계가 아닌 품질 게이트가 적용되는 비동기 복원 분기로 처리된다. 본 논문에서는 하위 사용 전 복원 후보를 필터링하는 참조 가용 품질 게이트를 평가한다: 이를 적용하지 않을 경우 유형 인식 라우팅은 이미지당 재현율을 0.304로 저하시키는 반면, 적용 시 재현율은 복원되지 않은 기준선과 같거나 높은 0.608로 회복되어, 전달되는 스트림이 복원되지 않은 프레임보다 결코 나빠지지 않음을 보장한다. 따라서 REVIVE는 자율주행차량에서의 VOA에 대한 구조화된 복원 프레임워크를 제공한다.

arXiv:2607.12818v3cs.CV공통 태그 Autonomous Vehicles

데자뷔 깨기: 시각-언어 추론을 통한 시각적 장소 인식의 독립적 감사

Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning

시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.

arXiv:2607.23132v2cs.CV공통 태그 Autonomous Vehicles

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.