Uncertain data streams have been widely generated in many Web applications. The uncertainty in data streams makes anomaly detection from sensor data streams far more challenging. In this paper, we present a novel framework that supports anomaly detection in uncertain data streams. The proposed framework adopts an efficient uncertainty pre-processing procedure to identify and eliminate uncertainties in data streams. Based on the corrected data streams, we develop effective period pattern recognition and feature extraction techniques to improve the computational efficiency. We use classification methods for anomaly detection in the corrected data stream. We also empirically show that the proposed approach shows a high accuracy of anomaly detection on a number of real datasets.
We investigate anomaly detection in an unsupervised framework and introduce Long Short Term Memory (LSTM) neural network based algorithms. In particular, given variable length data sequences, we first pass these sequences through our LSTM based structure and obtain fixed length sequences. We then find a decision function for our anomaly detectors based on the One Class Support Vector Machines (OC-SVM) and Support Vector Data Description (SVDD) algorithms. As the first time in the literature, we jointly train and optimize the parameters of the LSTM architecture and the OC-SVM (or SVDD) algorithm using highly effective gradient and quadratic programming based training methods. To apply the gradient based training method, we modify the original objective criteria of the OC-SVM and SVDD algorithms, where we prove the convergence of the modified objective criteria to the original criteria. We also provide extensions of our unsupervised formulation to the semi-supervised and fully supervised frameworks. Thus, we obtain anomaly detection algorithms that can process variable length data sequences while providing high performance, especially for time series data. Our approach is generic so that we also apply this approach to the Gated Recurrent Unit (GRU) architecture by directly replacing our LSTM based structure with the GRU based structure. In our experiments, we illustrate significant performance gains achieved by our algorithms with respect to the conventional methods.
Videos represent the primary source of information for surveillance applications and are available in large amounts but in most cases contain little or no annotation for supervised learning. This article reviews the state-of-the-art deep learning based methods for video anomaly detection and categorizes them based on the type of model and criteria of detection. We also perform simple studies to understand the different approaches and provide the criteria of evaluation for spatio-temporal anomaly detection.
Anomaly detection is a classical problem in computer vision, namely the determination of the normal from the abnormal when datasets are highly biased towards one class (normal) due to the insufficient sample size of the other class (abnormal). While this can be addressed as a supervised learning problem, a significantly more challenging problem is that of detecting the unknown/unseen anomaly case that takes us instead into the space of a one-class, semi-supervised learning paradigm. We introduce such a novel anomaly detection model, by using a conditional generative adversarial network that jointly learns the generation of high-dimensional image space and the inference of latent space. Employing encoder-decoder-encoder sub-networks in the generator network enables the model to map the input image to a lower dimension vector, which is then used to reconstruct the generated output image. The use of the additional encoder network maps this generated image to its latent representation. Minimizing the distance between these images and the latent vectors during training aids in learning the data distribution for the normal samples. As a result, a larger distance metric from this learned data distribution at inference time is indicative of an outlier from that distribution - an anomaly. Experimentation over several benchmark datasets, from varying domains, shows the model efficacy and superiority over previous state-of-the-art approaches.
머신러닝 기반 자동 시각 검사는 산업 현장에서 무결함(zero-defect) 정책 달성에 핵심적인 역할을 한다. 이상 탐지(anomaly detection) 연구는 복잡한 결함 외관과 생산 공정에서 흔한 불완전한 촬영 조건을 반영하는 데이터셋(dataset) 확보에 제약을 받는다. 최근 벤치마크(benchmark)는 공개 데이터셋의 대부분이 최적 촬영 조건에 치우쳐 있어, 실세계 산업 시나리오에서의 적용 가능성을 과대평가하게 만든다는 점을 보여준다. 이러한 공백을 메우기 위해 Industrial Screen Printing Anomaly Detection Dataset(ISP-AD)을 제안한다. ISP-AD는 높은 허용 디자인 가변성을 갖는 구조화된 패턴 안에 포함된, 도전적인 소형·저대비 표면 결함을 담는다. 우리가 아는 한, 공장 현장에서 직접 수집한 합성 결함과 실제 결함을 모두 포함하는 공개 산업 데이터셋 가운데 현재까지 최대 규모이다. 최근 비지도 이상 탐지 방법 벤치마킹에 더해, 합성 결함과 실제 결함을 함께 쓰는 혼합 지도 학습(training) 전략 실험도 수행했다. 실험 결과, 약하게 라벨링된 실제 결함을 소량 주입(inject)해도 일반화(generalization)가 개선된다. 또한 순수 합성 결함만으로 학습을 시작한 뒤에도, 새로 등장하는 실제 불량 샘플을 이후 확장 가능한 학습에 효율적으로 통합할 수 있다. 종합하면, model-free 합성 결함은 cold-start 기준선(baseline)을 제공할 수 있고, 소량의 주입된 실제 결함은 이전에 보지 못한 결함 특성에 대한 결정 경계를 정교화한다. 제시한 비지도·지도 데이터셋 분할은 비지도, 자기지도(self-supervised), 지도(supervised) 접근법 연구를 강조하도록 설계되어 산업 환경에서의 적용 가능성을 높인다.
준지도 이상 탐지(semi-supervised anomaly detection)는 정상 학습(training) 데이터와 다르게 보이는 모든 레코드가 잠재적인 이상치라는 원리에 기반합니다. 그러나 어떤 경우에는 높은 속성값(또는 낮은 속성값이며, 둘 다는 아님)에 해당하는 이상치에 특별히 관심을 갖기도 합니다. 거리 기반 방법(distance-based methods)을 위해, 본 논문에서는 램프 함수(ramp function)를 결합하여 이러한 단조성(monotonicity)을 고려하는 비대칭 거리 척도를 제안합니다. Isolation Forest 알고리즘에 대해서는 수정된 경로 길이(path length) 알고리즘을 제안합니다. 합성 데이터셋과 실제 데이터셋에 대한 실험을 통해, 이러한 제안 방법들이 단조 속성을 가진 데이터셋에서 이상 탐지 성능을 향상시킴을 보여줍니다.