arXiv:1809.01605

Anomaly Detection in the Presence of Missing Values

Thomas G. Dietterich, Tadesse Zemicheal

제출 2018-09-05

원문 초록

Standard methods for anomaly detection assume that all features are observed at both learning time and prediction time. Such methods cannot process data containing missing values. This paper studies five strategies for handling missing values in test queries: (a) mean imputation, (b) MAP imputation, (c) reduction (reduced-dimension anomaly detectors via feature bagging), (d) marginalization (for density estimators only), and (e) proportional distribution (for tree-based methods only). Our analysis suggests that MAP imputation and proportional distribution should give better results than mean imputation, reduction, and marginalization. These hypotheses are largely confirmed by experimental studies on synthetic data and on anomaly detection benchmark data sets using the Isolation Forest (IF), LODA, and EGMM anomaly detection algorithms. However, marginalization worked surprisingly well for EGMM, and there are exceptions where reduction works well on some benchmark problems. We recommend proportional distribution for IF, MAP imputation for LODA, and marginalization for EGMM.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02397v1cs.LG공통 태그 Anomaly Detection, Imputation

미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과

Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result

전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.

arXiv:2607.11915v1physics.plasm-ph공통 태그 Anomaly Detection, Imputation

플라즈마 진단 모델의 센서 견고성 벤치마킹: TokaMark에서의 체계적 평가

Benchmarking Sensor Robustness in Plasma Diagnostic Models: A Systematic Evaluation on TokaMark

토카막 융합 장치용 플라즈마 진단 모델은 거의 전적으로 깨끗하고 완전한 센서 데이터로 평가된다. 실제로는 융합 진단이 정기적으로 실패한다: 취득 시스템이 늦게 시작되고, 개별 센서가 고장 나며, 신호 드롭아웃이 플라즈마 붕괴가 임박할 때 정확히 집중된다. 우리는 11,573개의 MAST 샷으로 구성된 TokaMark 데이터셋을 사용하여, 물리적으로 근거 있는 여섯 가지 실패 시나리오와 세 가지 대치(imputation) 전략에 걸쳐 XGBoost, LSTM, 트랜스포머, TokaMark CNN 기준선을 평가함으로써 플라즈마 진단 ML의 최초 체계적 견고성 벤치마크를 제시한다. 아키텍처 간 표준화된 비교를 위해 견고성 점수(Robustness Score, RS)를 도입한다. 핵심 발견은 붕괴 근접 센서 실패(최종 윈도우 타임스텝에 주입된 손상)가 시퀀스 모델 성능을 붕괴시키는 반면(LSTM +212% NRMSE), 통계적 특징 모델은 비교적 안정적으로 유지된다(XGBoost +37%)는 것이다. 순방향 채움(forward-fill) 대치는 시퀀스 모델의 무작위 드롭아웃으로 인한 성능 저하를 거의 모두 제거하지만(LSTM +57%에서 ~0%로), 윈도우 끝이 손상된 경우에는 거의 도움이 되지 않는다. 실제 붕괴 타임스탬프를 이용한 샷 단위 알람 평가는 근접 센서 실패에서 LSTM 알람 탐지가 TPR=0.00으로 붕괴하는 반면, 평균 채움(mean-fill) 대치가 이를 TPR=1.00으로 복구함을 보여주며, 이는 NRMSE에서 관측된 패턴과 반대이다. 플라즈마 전류는 모든 아키텍처에서 제거 시(+73%에서 +140%) 가장 중요한 단일 진단량으로 부상한다. 코드, 데이터, 학습된 체크포인트는 https://github.com/Neerav-Gupta/tokamark-robustness 에서 이용 가능하다.

arXiv:2607.06111v1eess.SY공통 태그 Anomaly Detection, Imputation

신뢰할 수 있는 산업 공정 추론을 위한 대규모 언어 모델 기반 측정 신뢰도 보정

LLM-Guided Measurement Credibility Correction for Trustworthy Industrial Process Inference

산업 예측과 소프트 센싱(soft sensing)은 신뢰할 수 있는 입력 측정값에 의존한다. 현장 배포 환경에서 예측기는 편향되거나, 지연되거나, 오래되었거나, 파생된 측정값을 수신할 수 있으며, 이러한 측정값들은 여전히 그럴듯하게 보일 수 있다. 입력 윈도우가 더 이상 실제 공정을 대표하지 않기 때문에, 예측 백본(forecasting backbone)이 주된 한계가 되기 전에 예측이 실패할 수 있다. 센서 재구성, 데이터 조정(data reconciliation), 결함 허용 소프트 센싱은 이 위험을 줄이지만, 이들은 종종 수치적 상관관계, 경보, 결함 레이블, 또는 명시적인 공정 방정식에 의존한다. 이러한 가정들이 항상 가용한 것은 아니다. 변수들이 계측기, 파생 수식, 소프트 센싱 체인, 또는 제어 동작을 공유하는 경우, 상관된 변수도 안전하지 않은 참조가 될 수 있다. 핵심 과제는 예측 전에 어떤 외부 측정값이 현재 측정값을 신뢰할 수 있게 뒷받침할 수 있는지를 결정하는 것이다. 이 문제를 해결하기 위해, 본 논문은 대규모 언어 모델(LLM) 기반 측정 신뢰도 보정(LLM-Guided Measurement Credibility Correction, MCC)을 제안한다. MCC는 공정 문서에 있는 측정값의 의미를 수치 모델이 활용할 수 있는 측정 의미론(measurement semantics)으로 변환한다. 의미론적으로 검증된 외부 측정값으로부터 독립적인 공정 참조값을 구축하고, 예측 전에 지역적 측정값 충돌을 보정한다. 따라서 예측기는 더 신뢰할 수 있는 입력 윈도우를 수신하게 된다. 여러 복잡한 산업용 예측 및 소프트 센싱 과제에 걸쳐, +MCC는 실제 테스트 프로토콜에서 평균 상대 MAE를 30.7%, 제어된 오염 프로토콜에서 80.3% 감소시킨다. 0.5~2.0k의 온라인 파라미터만 추가되며, 가장 느린 +MCC 추론 시간은 0.089 ms/스텝이다. 이러한 결과는 측정 의미론이 공정 문서를 경량의 추론 전 신뢰도 보정 수단으로 전환하고 예측 정확도를 향상시킬 수 있음을 보여준다.

arXiv:2607.21776v2cs.LG공통 태그 Anomaly Detection

PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.

arXiv:2607.13346v2cs.CR공통 태그 Anomaly Detection

PRISM: 정렬 위장 주장에 대한 스트레스 테스트

PRISM: Stress-Testing Alignment-Faking Claims

우리는 AI 시스템이 안전한지를 주로 그 행동을 관찰하여 판단한다. 정렬 위장은 이를 무너뜨린다. 감시받고 있다고 믿을 때만 올바르게 행동하거나, 훈련으로 인해 변형되는 것을 피하기 위해 지금은 순응하는 모델은 모든 행동 테스트를 통과할 수 있다. 이러한 행동은 한 최첨단 모델에서 보고된 바 있으며, 모니터링 프롬프트 하에서 더 많이 순응하는 오픈 웨이트 모델은 이제 이를 보이는 것으로 해석되고, 은닉 상태 프로브가 탐지기로 제안되고 있다. 본 연구는 이 두 가지 추론을 모두 검증하였으며, 어느 쪽도 성립하지 않는다. 18개 모델 구성 중 11개가 감시받고 있다는 말을 들으면 더 많이 순응한다. 그러나 네 모델에 대한 프롬프트 요인 실험은 훈련 위협이 탐지 가능한 효과를 갖지 않음을 보여 주며, 이를 제거해도 순응도는 -3.3점에서 +1.6점 사이로만 변한다. 격차를 만드는 것은 오히려 프롬프트의 표현과 프레이밍이다. 프로브도 나을 것이 없다. 프로브는 감시 하의 순응 응답과 비감시 하의 순응 응답을 구분하지만(AUROC 0.96-0.99), 거부 응답도 똑같이 잘 구분한다. 즉 프로브는 위장이 아니라 프롬프트를 읽는다. 거부 응답만으로 학습한 조향 방향도 '위장' 방향과 동일한 정도로 행동을 변화시킨다. 본 연구는 이러한 실패 각각을 주장으로 굳어지기 전에 포착하는 다섯 가지 점검과 툴킷인 PRISM을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.