Supervised Anomaly Detection in Uncertain Pseudoperiodic Data Streams
원문 초록
Uncertain data streams have been widely generated in many Web applications. The uncertainty in data streams makes anomaly detection from sensor data streams far more challenging. In this paper, we present a novel framework that supports anomaly detection in uncertain data streams. The proposed framework adopts an efficient uncertainty pre-processing procedure to identify and eliminate uncertainties in data streams. Based on the corrected data streams, we develop effective period pattern recognition and feature extraction techniques to improve the computational efficiency. We use classification methods for anomaly detection in the corrected data stream. We also empirically show that the proposed approach shows a high accuracy of anomaly detection on a number of real datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자연 가시성 그래프 기반 사이버 공격 탐지를 위한 위상 지표의 다중 방식 중요도 및 성능 효율성 분석
A Multi Method Importance and Performance Efficiency Analysis of Topological Metrics for Natural Visibility Graph Based Cyber Attack Detection
자연 가시성 그래프(Natural Visibility Graph, NVG) 기반 분석은 서로 다른 구조적 특성을 반영하는 위상 기술자(topological descriptor)를 통해 네트워크 트래픽을 특성화합니다. 그러나 모든 기술자가 사이버 공격 분류에 동일하게 기여하는 것은 아니며, 대규모 지표 집합을 추출하는 것은 계산 비용을 증가시킬 수 있습니다. 본 연구에서는 NVG에서 유도된 21개의 위상 지표를 평가하고, 축소된 하위 집합이 계산 효율성을 개선하면서도 분류 성능을 유지할 수 있는지 조사합니다. SHAP, 그룹화된 순열 중요도(Permutation Importance), Boruta, 재귀적 특징 제거(Recursive Feature Elimination, RFE)의 네 가지 중요도 분석 방법을 합의 순위(Consensus Ranking) 전략을 통해 통합합니다. 이 순위를 바탕으로 Full21, Top15, Top10, Top7, Top5, Top3 구성을 CICIDS2018 데이터셋, CNN 분류기, 계층화된 5겹 교차 검증을 사용하여 평가합니다. 가장 높은 순위를 기록한 세 가지 지표는 avg_clustering_coeff_median, avg_clustering_coeff_std, avg_clustering_coeff_mean입니다. Top3는 97.148%의 정확도, 97.055%의 가중 F1 점수, 0.9675의 MCC를 기록하여 Full21의 95.999%, 95.521%, 0.9549와 비교해 관측된 최고 평균 성능을 달성했습니다. 또한 전체 실행 시간을 14,961.39초에서 589.22초로 96.06% 단축했습니다. 이러한 결과는 중요도 기반의 지표 축소가 평가된 환경에서 더 높은 관측 평균 예측 성능과 실질적으로 훨씬 낮은 계산 비용을 갖춘 간결한 NVG 표현을 제공할 수 있음을 보여줍니다.
효율적인 해양 환경 모니터링을 위한 위성 탑재 이상 탐지
On-Board Anomaly Detection for Efficient Marine Environmental Monitoring
해양 생태계는 기름 유출, 유해 조류 번식, 퇴적물 범람 등 서식지와 야생동물, 인간 활동을 방해하는 다양한 위협의 영향을 받습니다. 위성 영상과 인공지능(AI)의 발전은 이러한 위험 요소를 조기에 탐지하고 완화할 수 있는 역량을 향상시켰습니다. 본 논문에서는 다중분광 또는 초분광 센서를 탑재한 지구 관측 위성을 위한 해양 이벤트 탐지 파이프라인을 제안합니다. 제안하는 접근법은 위성 영상을 축소된 잠재 공간(latent space)으로 압축하여 효율적인 위성 탑재(onboard) 처리를 가능하게 하는 자기지도 학습(self-supervised) 신경망(neural network) 인코더를 포함합니다. 머신러닝 이상 탐지 모델(model)은 정상적인 해양 패턴으로부터의 편차를 식별하여 환경적 이상 현상을 감지합니다. 이 성능을 Isolation Forest, One-Class Support Vector Machine, Local Outlier Factor와 같은 전통적인 알고리즘과 비교합니다. 리소스 효율적인 경량 파이프라인은 임베디드 CPU부터 AI 하드웨어 가속기에 이르기까지 계산 자원이 제한된 위성에 배포할 수 있도록 최적화되었습니다. 중요한 정보의 전송을 우선시함으로써, 본 솔루션은 시스템 응답성을 높이고 위성 통신 대역폭을 최적화합니다. 유럽우주국(ESA)의 Phisat-2 미션 및 Microsoft/Thales Alenia Space의 IMAGIN-e 미션을 포함한 여러 실제 미션에 적용되어 입증된 이 파이프라인은 적시 경보와 효율적인 데이터 감축을 제공하여 해양 환경 모니터링을 개선하는 것을 목표로 합니다.
공유 인코더가 곧 공유 태스크를 의미하지는 않는다: 딥 전문가 풀을 위한 조건부 비교
A Shared Encoder Is Not a Shared Task: Conditional Comparison for Deep Expert Pools
딥 인코더(deep encoder)를 공유하는 것만으로는 태스크 비교 점수의 핵심적인 교란 요인(confound)을 해결하지 못한다. 본 연구에서는 고정된 공유 표현 위에서 교차 평가된 헤드들이 얕은 교환 점수(shallow exchange score)의 외삽 교란을 그대로 물려받음을 보인다. 고정된 레이블 상태에서 순수한 입력 회전만으로도 딥 교환 점수가 약 0에서 0.80으로 부풀려지는 반면, 표현 새로움 점수(representation-novelty score)는 상보적인 방향에서 맹점을 드러낸다(태스크를 완전히 변경하는 레이블 순열 치환에서도 변화가 없음). 조건부 2-판별자 불일치(conditional two-discriminator discrepancy)를 임베딩 공간으로 이식하면 두 맹점이 모두 해결된다. 즉, 기능적 축은 회전 시에도 ±0.001 이내를 유지하며, 레이블 순열 드리프트 질량을 단조롭게 추적한다. 헤드 혼합(mixture-of-heads) 라이프사이클에 구축된 이 2축 게이트는 동일한 학습 예산 하에서 교환 또는 새로움 트리거보다 더 적은 수의 헤드로 더 우수한 결정 품질을 달성한다. 일반화된 카테고리 발견(generalized category discovery)에서, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)가 해당 구분을 거의 무작위 수준으로 수행하는 반면, 동일한 청크 단위 기능적 축은 의미론적 새로움과 측광학적 변화(photometric shift)를 AUROC 0.98~0.99로 분리한다. 모든 연구 결과는 CIFAR-100에서 고정된 ImageNet-21k ViT-B/16 및 자기지도학습 DINOv2 백본 전반에 걸쳐 재현되며, 순환(recurrence) 구조를 가진 잔차 어댑터 풀로도 확장된다. 여기서 영점 보정된 새로움 트리거는 메커니즘 변화에 전혀 작동하지 않지만, 2축 게이트는 완전한 순환 재사용을 통해 이를 처리한다. 마지막으로, 임베딩 공간의 결론이 원래 메커니즘으로 전이되기 위한 공통 인수분해 조건(common-factoring condition)을 명시적으로 제시한다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보
Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.
Anomaly Detection in File Fragment Classification of Image File Formats
토론
이 논문과 연결된 포럼 글이 아직 없습니다.