arXiv:2401.04437

Empirical Analysis of Anomaly Detection on Hyperspectral Imaging Using Dimension Reduction Methods

Dongeon Kim, YeongHyeon Park

제출 2024-01-09

원문 초록

Recent studies try to use hyperspectral imaging (HSI) to detect foreign matters in products because it enables to visualize the invisible wavelengths including ultraviolet and infrared. Considering the enormous image channels of the HSI, several dimension reduction methods-e.g., PCA or UMAP-can be considered to reduce but those cannot ease the fundamental limitations, as follows: (1) latency of HSI capturing. (2) less explanation ability of the important channels. In this paper, to circumvent the aforementioned methods, one of the ways to channel reduction, on anomaly detection proposed HSI. Different from feature extraction methods (i.e., PCA or UMAP), feature selection can sort the feature by impact and show better explainability so we might redesign the task-optimized and cost-effective spectroscopic camera. Via the extensive experiment results with synthesized MVTec AD dataset, we confirm that the feature selection method shows 6.90x faster at the inference phase compared with feature extraction-based approaches while preserving anomaly detection performance. Ultimately, we conclude the advantage of feature selection which is effective yet fast.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02342v1cs.AI공통 태그 Anomaly Detection, feature selection

자연 가시성 그래프 기반 사이버 공격 탐지를 위한 위상 지표의 다중 방식 중요도 및 성능 효율성 분석

A Multi Method Importance and Performance Efficiency Analysis of Topological Metrics for Natural Visibility Graph Based Cyber Attack Detection

자연 가시성 그래프(Natural Visibility Graph, NVG) 기반 분석은 서로 다른 구조적 특성을 반영하는 위상 기술자(topological descriptor)를 통해 네트워크 트래픽을 특성화합니다. 그러나 모든 기술자가 사이버 공격 분류에 동일하게 기여하는 것은 아니며, 대규모 지표 집합을 추출하는 것은 계산 비용을 증가시킬 수 있습니다. 본 연구에서는 NVG에서 유도된 21개의 위상 지표를 평가하고, 축소된 하위 집합이 계산 효율성을 개선하면서도 분류 성능을 유지할 수 있는지 조사합니다. SHAP, 그룹화된 순열 중요도(Permutation Importance), Boruta, 재귀적 특징 제거(Recursive Feature Elimination, RFE)의 네 가지 중요도 분석 방법을 합의 순위(Consensus Ranking) 전략을 통해 통합합니다. 이 순위를 바탕으로 Full21, Top15, Top10, Top7, Top5, Top3 구성을 CICIDS2018 데이터셋, CNN 분류기, 계층화된 5겹 교차 검증을 사용하여 평가합니다. 가장 높은 순위를 기록한 세 가지 지표는 avg_clustering_coeff_median, avg_clustering_coeff_std, avg_clustering_coeff_mean입니다. Top3는 97.148%의 정확도, 97.055%의 가중 F1 점수, 0.9675의 MCC를 기록하여 Full21의 95.999%, 95.521%, 0.9549와 비교해 관측된 최고 평균 성능을 달성했습니다. 또한 전체 실행 시간을 14,961.39초에서 589.22초로 96.06% 단축했습니다. 이러한 결과는 중요도 기반의 지표 축소가 평가된 환경에서 더 높은 관측 평균 예측 성능과 실질적으로 훨씬 낮은 계산 비용을 갖춘 간결한 NVG 표현을 제공할 수 있음을 보여줍니다.

arXiv:2609.27764v1cs.LG공통 태그 Dimensionality Reduction, Anomaly Detection

기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계

Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes

우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.

arXiv:2609.22333v1cs.CV공통 태그 Dimensionality Reduction, feature selection

설명 가능한 AI(XAI) 기반 하이퍼스펙트럴 이미지 분류를 위한 차원 축소

Dimensionality reduction for AI based hyperspectral image classification based on XAI

본 연구는 인공지능(AI) 기반 차원 축소를 활용하여 목재 재활용 공정에서 소재 재활용이 제한적인 문제를 다룬다. 본 연구는 RGB 채널을 넘어 200개 이상의 분광 채널을 갖는 다중 채널 하이퍼스펙트럴 이미징(HSI)에 합성곱 신경망(CNN)을 적용하는 방법을 탐구한다. 이러한 맥락에서 차원 축소는 AI 시스템의 학습과 추론을 위한 특징 공간을 간소화하는 것을 의미한다. 설명 가능한 AI(XAI) 기법에 초점을 맞춘 본 논문은 더 폭넓은 연구 이니셔티브에 기여하며, 목재 재활용 공정의 지속가능성과 효율성을 향상시키는 솔루션 프레임워크를 제시한다.

arXiv:2607.20530v1cs.LG공통 태그 Dimensionality Reduction, Anomaly Detection

CLOE: 이상 탐지를 위한 Christoffel 손실 오토인코더

CLOE: Christoffel Loss Autoencoder for Anomaly Detection

반지도 이상 탐지(semi-supervised anomaly detection)는 공정 모니터링, 의료, 금융 등 다양한 분야에서 핵심적인 역할을 한다. 그러나 경량 방법들은 고차원 데이터에서 종종 어려움을 겪으며, 일반적으로 여러 하이퍼파라미터를 세심하게 조정해야 한다. 기존 접근법 가운데 Christoffel 함수(Christoffel Function) 기반 방법들은 단순성으로 인해 매력적인데, 최대 하나의 하이퍼파라미터만 필요하다. 또한 잘 정립된 이론적 기반의 이점을 누려 데이터 과학에서 여러 흥미로운 결과를 제공한다. 그러나 주요 한계는 고차원 설정에서의 낮은 확장성이다. 본 논문에서는 차원 축소를 위한 오토인코더와 잠재 공간(latent space)에 적용된 Christoffel 함수 기반 탐지기를 결합한 새로운 방법인 CLOE를 제안한다. 표현 학습(representation learning)을 이상 탐지와 더 잘 정렬하기 위해, Christoffel 함수를 활용하여 오토인코더가 정상 데이터 분포의 지지(support)를 더 잘 포착하는 표현을 향하도록 유도하는 새로운 손실 함수를 설계한다. 또한 탐지 임계값을 설정하는 원칙적인 절차와 남은 단 하나의 하이퍼파라미터를 조정하는 효율적인 전략을 제안한다. 여러 고차원 표(tabular) 이상 탐지 벤치마크에서의 실험은 CLOE가 Christoffel 함수 기반 접근법의 경량성과 낮은 튜닝 부담이라는 장점을 유지하면서 기존 방법들 대비 우수한 성능을 달성함을 보여준다.

arXiv:2607.13203v1cs.CR공통 태그 Anomaly Detection, feature selection

BARS: 네트워크 침입 탐지에서 오경보 감소를 위한 정상 앵커 기반 순위 및 선택

BARS: Benign-Anchored Ranking and Selection for False Alarm Reduction in Network Intrusion Detection

오경보는 네트워크 침입 탐지 시스템(NIDS) 배포의 주요 장애 요인으로 남아 있다. 대용량 환경에서는 1% 미만의 오탐률(false positive rate)만으로도 하루에 수만 건의 경보가 발생할 수 있다. 필터 기반 특징 선택은 분류기 상류에서 동작하고 추론 시 비용을 추가하지 않기 때문에 매력적이다. 그러나 고전적 필터는 정상 트래픽이 기준선을 정의하고 공격이 이로부터의 편차라는 침입 탐지의 비대칭성을 무시하는 클래스 대칭 기준을 사용한다. 최근의 클래스 비대칭 필터인 Classwise Mean Deviation(CMD)는 이 문제를 다루지만, 점수를 전역 평균에 앵커하며 클래스 불균형 시 전역 평균이 공격 분포 쪽으로 이동하여 포착하려는 편차를 약화시킨다. 우리는 CMD의 전역 앵커를 정상 클래스 평균으로 대체하고 순서 보존 탈상관 단계를 적용하는 2단계 필터인 Benign-Anchored Ranking and Selection(BARS)를 제안한다. CICIDS2017, CICDDoS2019, UNSW-NB15에서 특징 예산 k = {5, 10, 20, 30, 40}으로 BARS를 평가한다. 전역 앵커 바이어스가 가장 강한 공격 다수 데이터셋에서 BARS는 k = 20일 때 UNSW-NB15에서 CMD 대비 오탐률을 15.4% 감소시키고, 작은 특징 예산에서 CICDDoS2019에서 21%에서 23% 감소시키며 정탐률(true positive rate)과 macro-F1을 유지한다. 정상 다수 데이터에서는 BARS와 CMD가 수렴하며, 이는 전역 앵커 및 정상 앵커 점수가 일치하는 이론적 한계와 일치한다. BARS는 보편적으로 우월한 필터라기보다 CMD의 원칙적 개선이다. Pearson Correlation과 Mutual Information이 종종 더 낮은 오탐률을 달성하지만, 우리 평가에서 가장 큰 벤치마크에서 1 TB를 넘는 메모리를 요구했다. BARS는 선형 시간 점수 산출과 낮은 메모리 사용량을 유지하여 자원 제약 환경 배포에 적합하다.

arXiv:2607.13544v1cs.LG공통 태그 Anomaly Detection, feature selection

다변량 풍력 발전단 SCADA 데이터 필터링을 위한 군집 알고리즘

Clustering algorithms for multivariate wind farm SCADA data filtering

풍력 발전단 운전 중 감시 제어 및 데이터 수집(Supervisory Control and Data Acquisition, SCADA) 시스템은 수많은 이상(anomaly), 과도현상(transient), 특정 운전 모드를 기록하여 대규모 데이터셋을 생성한다. 그러나 다양한 응용 분야에서는 정상 운전에 해당하는 측정값만 필요하므로 SCADA 데이터를 필터링해야 한다. 이를 위해 전문가가 데이터를 시각적으로 검토하여 수행하는 수동 필터링을 자동화하고 대체하기 위한 여러 방법이 제안되었다. 본 논문에서는 수동 필터링과 여러 군집 알고리즘의 필터링 정확도를 비교하고, 라벨이 없는 데이터에 적합하며 잠재적 응용 분야 전반에 걸쳐 견고한 평가(evaluation) 지표를 도입한다. 결과를 바탕으로 서로 다른 데이터셋에 모델 보정을 일반화하는 방안에 대한 권고사항을 제시하고, 각 모델의 잠재적 활용 사례를 논의한다. 모델은 기존 해상 풍력 발전단의 3개 터빈 SCADA 데이터에 여러 데이터 채널에 걸친 10분 통계치를 사용하여 적용하였다. 일반적으로 기록되는 이상 및 운전 모드 외에도, 데이터셋은 여러 현장 시험(field test)으로 인해 뚜렷하지 않은(non-evident) 이상치(outlier)가 다수 존재한다. 전반적으로 결과는 특징 선택과 평가 지표 설계 모두에서 출력 곡선(power curve)을 넘어 분석을 확장하는 것의 중요성을 강조한다. 대부분의 경우 군집 기반 방법은 뚜렷한 이상치와 미묘한 이상치를 모두 검출할 수 있으며, 수동 필터링보다 높은 정확도를 달성한다. 그러나 정확도와 보존되는 데이터의 양은 모델에 따라 상당히 달라지며, 수동 필터링에 비해 줄어들긴 하지만 전문가의 개입은 여전히 필요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.