arXiv:2202.12653

Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection

Bang Xiang Yong, Alexandra Brintrup

제출 2022-02-25

원문 초록

Despite numerous studies of deep autoencoders (AEs) for unsupervised anomaly detection, AEs still lack a way to express uncertainty in their predictions, crucial for ensuring safe and trustworthy machine learning systems in high-stake applications. Therefore, in this work, the formulation of Bayesian autoencoders (BAEs) is adopted to quantify the total anomaly uncertainty, comprising epistemic and aleatoric uncertainties. To evaluate the quality of uncertainty, we consider the task of classifying anomalies with the additional option of rejecting predictions of high uncertainty. In addition, we use the accuracy-rejection curve and propose the weighted average accuracy as a performance metric. Our experiments demonstrate the effectiveness of the BAE and total anomaly uncertainty on a set of benchmark datasets and two real datasets for manufacturing: one for condition monitoring, the other for quality inspection.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.14089v3cs.AI공통 태그 Uncertainty Quantification, Anomaly Detection

체제 조건부 검증: 안전성 분류기 적응 및 모니터링을 위한 정확도 추정

Regime-Conditional Verification: Correctness Estimation for Adapting and Monitoring Safety Classifiers

대규모 언어 모델(LLM)과 함께 배포되는 안전성(safety) 분류기는 흔히 두 가지 이유로 실패합니다. 분류기의 결정이 배포자가 원하는 정책이 아닌 학습(training) 중에 학습된 정책을 반영한다는 점과, 배포 환경의 트래픽이 변화함에 따라 성능이 저하된다는 점입니다. 본 연구에서는 기존 안전성 분류기를 재학습하지 않고도 적응시키는 경량 래퍼인 체제 조건부 검증(Regime-Conditional Verification, RCV)을 제안합니다. RCV는 분류기의 내부 표현으로부터 각 예측이 배포자의 정책과 일치하지 않을 확률을 추정하고, 틀릴 가능성이 높은 예측을 선별적으로 수정합니다. 또한 동일한 정확도 추정치는 분포 변화(distribution shift)를 감지하기 위한 라벨 없는 신호를 제공하여, 정확도 추정 층(layer)을 업데이트하고 라벨 예산 내에서 수정이 실패할 때에만 분류기 미세조정(fine-tuning)을 수행하는 유지관리 루프를 가능하게 합니다. 세 가지 기존 안전성 분류기와 두 가지 벤치마크 데이터셋(dataset)에 걸친 실험에서, RCV는 기반 분류기를 수정하지 않고도 모든 분류기-데이터셋 조합에서 배포자 정책에 대한 준수율을 향상시켰으며, 이전에 놓쳤던 유해 콘텐츠를 최대 0.81까지 포착했습니다. RCV 학습에서 제외된 위해 범주로 구성된 10개의 공격 캠페인을 활용한 배포 연구에서, RCV는 전용 주입 패널의 모든 캠페인을 감지했습니다. 또한 유지관리 조사에서 대부분의 드리프트 사례는 분류기를 업데이트하지 않고도 해결되었으며, 미세조정은 잔여 사례에 대해서만 선별적으로 적용되었습니다.

arXiv:2610.03224v1cs.CV공통 태그 Uncertainty Quantification, Anomaly Detection

확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성

Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis

확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.

arXiv:2609.27877v1nlin.CD공통 태그 Uncertainty Quantification, Anomaly Detection

혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배

Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics

혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.

arXiv:2609.28099v1cs.CV공통 태그 Uncertainty Quantification, Anomaly Detection

Visual Tripwires: 심층 비전 시스템에서의 실패 예측

Visual Tripwires: Anticipating Failure in Deep Vision Systems

강력한 벤치마크 성능에도 불구하고 심층 비전 시스템은 손상(corruption), 가림(occlusion), 분포 이동(distribution shift)에 여전히 취약하다. 기존 신뢰성 방법은 일반적으로 개별 시간 단계에서 불확실성을 평가하며, 시스템이 실패로 진행하는 과정을 명시적으로 모델링하지 않는다. 우리는 Visual Tripwires를 제안한다. 이는 모델 동작의 시간적 불안정성을 이용해 임박한 실패를 예측하는 예측적 신뢰성 프레임워크이다. 우리의 핵심 가설은 예측적 성능 저하가 잠재 표현(latent representation), 예측 궤적, 어텐션 구조의 측정 가능한 변화를 통해 점진적으로 나타난다는 것이다. Visual Tripwires는 표현 드리프트(representation drift), 예측 진동(prediction oscillation), 궤적 곡률(trajectory curvature), 어텐션 엔트로피(attention entropy)로 이러한 변화를 포착한다. 경량 tripwire 예측기는 시간 윈도우에 걸쳐 이 신호들을 집계하여 미래 예측 지평(prediction horizon) 내 실패 확률을 추정한다. 여러 데이터셋, 아키텍처, 점진적 교란(progressive perturbation) 설정에 걸친 실험은 제안된 불안정성 신호가 예측적 성능 저하 이전에 나타나며, 기존 불확실성 추정 방법보다 더 이르고 더 정확한 실패 경고를 제공함을 보여준다. 이러한 결과는 시간적 불안정성이 향후 모델 신뢰성에 관한 유용한 정보를 담고 있으며, 심층 비vision 시스템에서 조기 경보를 위한 실용적 기반을 제공함을 보여준다.

arXiv:2609.24755v1cs.AI공통 태그 Uncertainty Quantification, Anomaly Detection

Epi-Logic: 자율 AI 에이전트를 위한 인식론적 런타임 제어, 스키마 유효성 검사 및 통제된 수용의 개념적 프레임워크

Epi-Logic: A Conceptual Framework for Epistemic Runtime Control, Schema Validity Checking, and Controlled Accommodation in Autonomous AI Agents

자율 AI 에이전트는 잘못된 결정을 되돌리기 어려운 영역에 점점 더 배치되고 있다. 본 논문은 스키마 불일치(schema mismatch)를 검토한다. 이는 에이전트가 현재 맥락에 더 이상 적용되지 않는 해석 프레임 안에서 동작하는 상태를 말한다. 이러한 불일치 하에서 생성된 출력은 내적으로 일관되어 보이고, 언어적으로 그럴듯하며, 대체로 사실상 맞는 것처럼 보일 수 있다. 따라서 출력 품질 지표만으로는 근본적인 유효성 상실을 부분적으로만 포착할 수 있다. 본 논문은 인식론적 런타임 제어를 위한 개념적 프레임워크인 Epi-Logic을 제안한다. 이는 스키마 불협화음 탐지, 단계적 자율성 축소, 검증된 스키마로의 감사 가능한 전환을 결합한다. 스키마는 변수 공간, 기대 모델, 유효성 조건, 공리, 메타데이터의 튜플로 형식화된다. Epi-Score는 인식론적 불협화음의 일곱 가지 등급 차원을 집계한다. 시간적 유효성 차원 D8, 유효성 조건 G의 위반, 공리 위반은 집계와 상쇄되지 않는 별도의 범주형 경로로 유지된다. 이 아키텍처는 검사 비대칭에 기반한다. 형식화된 유효성 조건은 런타임에 검사할 수 있는 반면, 많은 행동의 정확성은 사후적으로만 확립된다. 본 논문은 두 가지 아키텍처적 속성, 순차적 변화점 탐지(sequential changepoint detection)로부터의 조건부 결과, 그리고 경험적 잔여(empirical remainder)를 구분한다. 명명된 베이스라인을 갖춘 여덟 개의 반증 가능한 명제가 경험적 검증으로의 전환을 기술한다. 모든 명제는 경험적으로 검증 가능한 가설이며, 확립된 결과가 아니다.

arXiv:2609.22896v1cs.CV공통 태그 Uncertainty Quantification, Anomaly Detection

학습이 필요 없는 분포 외 세그멘테이션을 위한 파운데이션 모델 신뢰도 및 단안 깊이 결합

Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation

개방형 환경(open-world) 시나리오에서 주행하는 자율주행 차량은 이국적인 동물이나 떨어진 화물과 같이 이전에 본 적 없는 객체에 불가피하게 직면하게 됩니다. 따라서 이러한 분포 외(OOD, Out-of-Distribution) 객체를 안정적으로 감지하고 분할(segmentation)하는 것은 안전한 환경 이해와 의사결정을 위해 매우 중요합니다. 대부분의 기존 접근 방식은 OOD 학습 샘플에 대한 접근, 세그멘테이션 백본(backbone)의 재학습, 또는 전용 보조 아키텍처를 필요로 하므로 실제 적용 가능성이 제한됩니다. 본 논문에서는 작업 특화된 미세조정(fine-tuning)이나 이상 데이터에 대한 접근 없이도, 파운데이션 세그멘테이션 모델의 신뢰도 예측으로부터 직접 조밀한(dense) OOD 점수를 도출하는 학습이 필요 없는(training-free) 방법을 제안합니다. OOD 세그멘테이션의 견고성을 향상하기 위해, 단안 깊이 추정(monocular depth estimation)을 통한 기하학적 정보를 의사결정 과정에 통합하여 불확실성 기반 예측에 상호보완적인 단서를 제공합니다. 제안된 방법을 SegmentMeIfYouCan 벤치마크에서 평가하고, 실제 인식 시스템의 시간적 특성을 반영하여 비디오 시퀀스에서의 OOD 추적 성능을 추가로 평가합니다. 이 방법은 도로 중심 벤치마크에서 강력한 성능을 발휘합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.