arXiv:1710.04735

On the Runtime-Efficacy Trade-off of Anomaly Detection Techniques for Real-Time Streaming Data

Dhruv Choudhary, Arun Kejariwal, Francois Orsini

제출 2017-10-12

원문 초록

Ever growing volume and velocity of data coupled with decreasing attention span of end users underscore the critical need for real-time analytics. In this regard, anomaly detection plays a key role as an application as well as a means to verify data fidelity. Although the subject of anomaly detection has been researched for over 100 years in a multitude of disciplines such as, but not limited to, astronomy, statistics, manufacturing, econometrics, marketing, most of the existing techniques cannot be used as is on real-time data streams. Further, the lack of characterization of performance -- both with respect to real-timeliness and accuracy -- on production data sets makes model selection very challenging. To this end, we present an in-depth analysis, geared towards real-time streaming data, of anomaly detection techniques. Given the requirements with respect to real-timeliness and accuracy, the analysis presented in this paper should serve as a guide for selection of the "best" anomaly detection technique. To the best of our knowledge, this is the first characterization of anomaly detection techniques proposed in very diverse set of fields, using production data sets corresponding to a wide set of application domains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27362v1cs.LG공통 태그 Anomaly Detection, Model Selection

AUC 상한을 이용한 이상 데이터 없는 자기 최적화

Anomaly-Free Self-Optimization via AUC Bounds

이상(anomaly)은 드물며, 개발 단계에서는 이상 데이터를 구하기 어려워 어떤 이상 탐지 모델과 설정이 보지 못한 이상에 일반화될지 판단하기 어렵다. 최근 접근법은 이 문제를 의사 이상(pseudo-anomaly)을 생성하고 ROC 곡선 아래 면적(area under the ROC curve, AUC)의 달성 가능 상한(bound)을 이용해 유한한 후보 집합에서 최적 설정을 고르는 방식으로 다룬다. 이와 달리 우리는 AUC 상한을 미분 가능한, 이상 데이터에 의존하지 않는(anomaly-free) 목적 함수로 사용하여 이상 탐지 시스템의 연속 매개변수를 직접 최적화한다. 이 프레임워크를 앙상블 가중치 최적화와 의사 이상 점수에 적응하는 학습 가능한 점수 재조정(score-rescaling) 메커니즘 도입을 통해 보이며, 사전 정의된 후보 집합을 넘어서는 최적화를 가능하게 한다. 여러 데이터셋과 임베딩 모델에 걸친 실험에서 AUC 상한 최적화는 기존 모델 선택 및 개발 집합 기반 매개변수 선택 방식보다 유의미한 성능 향상을 달성한다. 결과는 또한 직접 최적화가 의사 이상 구성 선택에 덜 민감함을 보여준다.

arXiv:2607.13048v1cs.LG공통 태그 Anomaly Detection, Model Selection

스트리밍 시스템에서 이벤트 트리거 LLM 호출을 위한 불확실성 인식 순차 의사결정 규칙

Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems

스트리밍 추론 파이프라인은 점점 더 경량의 빠른 모델과 풍부한 의미 이해를 제공하지만 상당한 비용이 드는 대규모 언어 모델(LLM)을 함께 사용하고 있다. LLM을 언제 호출할지에 대한 핵심 질문은 형식적인 다루어짐이 제한적이었다. 우리는 이를 위험(risk) 기반의 순차적 정지(sequential stopping) 문제로 정식화하며, 관측 이력에 대한 위험 함수(risk functional)가 임계값을 초과할 때 트리거 정책(trigger policy)이 작동한다. 이 프레임워크 내에서 우리는 여섯 가지 결과를 증명한다: 트리거 채터링(trigger chattering)을 배제하는 최소 이벤트 간 시간 하한; smooth pasting을 통한 임계값 정책의 최적성; 추정 파라미터 하에서의 근사 SPRT 보장; 정상(stationary) 스트림에 대한 O(√(T log T)) regret, C_T개 changepoint 하에서는 O(√((C_T + 1) T log T))로 확장; 적응형 임계값에 대한 온라인 경사하강법(online gradient descent)의 O(1/√T) 수렴; 그리고 calibration-to-miss-rate 전이 부등식. 이벤트 트리거, 최적 정지, SPRT, CUSUM, 베이지안 트리거를 포함한 여러 고전적 트리거 패밀리가 이 프레임워크의 특수 사례로 표현될 수 있다. 실제 LLM 호출을 사용한 터보팬 열화 데이터(CMAPSS)에서, 우리는 이론적 가정을 실증적으로 검증하고, 위험 함수 설계에 대한 ablation을 수행하며, RouteLLM 스타일 라우터와 문맥적 밴딧(contextual bandit)을 포함한 6개 baseline과 비교하고, 비용 민감도와 LLM 실패 모드를 분석한다. 결과는 모든 원칙적(principled) 트리거에 대해 alpha < 1인 sublinear regret을 확인하고; 당사 rubric 하에서 1600건 LLM 진단 중 92.9%가 그라운딩 점수(grounding score) >= 0.75에 도달하는 높은 진단 품질; 그리고 Pareto AUC에서 anomaly-score 기반 위험 함수가 대안들보다 대략 한 자릿수(order of magnitude) 우세함을 보인다.

arXiv:2607.13239v1cs.AI공통 태그 Anomaly Detection, Model Selection

교통 관리를 위한 비용 최적 파운데이션 모델 배포 포트폴리오

Cost-Optimal Foundation Model Deployment Portfolio for Transportation Management

파운데이션 모델(foundation model)에는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)이 포함되며, 이상 탐지, 사고 보고, 여행자 정보 제공과 같은 교통 관리 센터(TMC) 업무에 점점 더 많이 사용되고 있다. 여러 이러한 모델을 TMC 기능 전반에 배포하는 것은 포트폴리오 질문을 제기한다: 각 기능에 어떤 모델이, 어떤 배포 모드로, 그리고 어떤 공유 하드웨어 예산 하에서 제공되어야 하는가? 우리는 이를 파운데이션 모델 배포 포트폴리오(FMDP) 문제로 공식화한다. 이는 공유 GPU 용량에 대해 기능별 품질, 지연 시간, 안전성 제약을 만족하면서 총 소유 비용(TCO)을 최소화하는 혼합 정수 프로그램이다. 0-1 배낭 문제로의 환원을 통해 이 문제가 NP-난해함을 증명하고, 다항 시간 탐욕적 휴리스틱을 제안한다. 다섯 가지 TMC 기능과 19개의 후보 (모델, 모드) 쌍을 포함한 예시 사례 연구에서, FMDP는 4개 기능을 오픈소스 API로, 오픈소스 모델이 품질 하한을 충족하지 못하는 1개 기능을 폐쇄형 API로 라우팅하는 혼합 포트폴리오를 식별하여 월 $34(가장 저렴한 실행 가능한 전체 폐쇄형 API 기준선 대비 97% 절감)의 비용을 산출한다. 손익분기 분석에 따르면, 온프레미스 GPU 투자는 시간당 약 309회의 비전 쿼리 이상이거나 API 가격이 두 배로 오를 때만 합리적이 된다.

arXiv:2607.21776v2cs.LG공통 태그 Anomaly Detection

PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.

arXiv:2607.13346v2cs.CR공통 태그 Anomaly Detection

PRISM: 정렬 위장 주장에 대한 스트레스 테스트

PRISM: Stress-Testing Alignment-Faking Claims

우리는 AI 시스템이 안전한지를 주로 그 행동을 관찰하여 판단한다. 정렬 위장은 이를 무너뜨린다. 감시받고 있다고 믿을 때만 올바르게 행동하거나, 훈련으로 인해 변형되는 것을 피하기 위해 지금은 순응하는 모델은 모든 행동 테스트를 통과할 수 있다. 이러한 행동은 한 최첨단 모델에서 보고된 바 있으며, 모니터링 프롬프트 하에서 더 많이 순응하는 오픈 웨이트 모델은 이제 이를 보이는 것으로 해석되고, 은닉 상태 프로브가 탐지기로 제안되고 있다. 본 연구는 이 두 가지 추론을 모두 검증하였으며, 어느 쪽도 성립하지 않는다. 18개 모델 구성 중 11개가 감시받고 있다는 말을 들으면 더 많이 순응한다. 그러나 네 모델에 대한 프롬프트 요인 실험은 훈련 위협이 탐지 가능한 효과를 갖지 않음을 보여 주며, 이를 제거해도 순응도는 -3.3점에서 +1.6점 사이로만 변한다. 격차를 만드는 것은 오히려 프롬프트의 표현과 프레이밍이다. 프로브도 나을 것이 없다. 프로브는 감시 하의 순응 응답과 비감시 하의 순응 응답을 구분하지만(AUROC 0.96-0.99), 거부 응답도 똑같이 잘 구분한다. 즉 프로브는 위장이 아니라 프롬프트를 읽는다. 거부 응답만으로 학습한 조향 방향도 '위장' 방향과 동일한 정도로 행동을 변화시킨다. 본 연구는 이러한 실패 각각을 주장으로 굳어지기 전에 포착하는 다섯 가지 점검과 툴킷인 PRISM을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.