arXiv:1904.06034

Supervised Anomaly Detection based on Deep Autoregressive Density Estimators

Tomoharu Iwata, Yuki Yamanaka

제출 2019-04-12

원문 초록

We propose a supervised anomaly detection method based on neural density estimators, where the negative log likelihood is used for the anomaly score. Density estimators have been widely used for unsupervised anomaly detection. By the recent advance of deep learning, the density estimation performance has been greatly improved. However, the neural density estimators cannot exploit anomaly label information, which would be valuable for improving the anomaly detection performance. The proposed method effectively utilizes the anomaly label information by training the neural density estimator so that the likelihood of normal instances is maximized and the likelihood of anomalous instances is lower than that of the normal instances. We employ an autoregressive model for the neural density estimator, which enables us to calculate the likelihood exactly. With the experiments using 16 datasets, we demonstrate that the proposed method improves the anomaly detection performance with a few labeled anomalous instances, and achieves better performance than existing unsupervised and supervised anomaly detection methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.05253v2cs.LG공통 태그 Anomaly Detection, Density Estimation

GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬

GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection

본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.

arXiv:2609.24204v1cs.CV공통 태그 Anomaly Detection, Density Estimation

SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계

SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation

시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.

arXiv:2607.13660v1cs.LG공통 태그 Anomaly Detection, Density Estimation

CLIP 잠재 공간의 초구면 기하학: 의미적 혼합 모델

The Hyperspherical Geometry of CLIP Latent Space: A Semantic Mixture Model

Contrastive Language-Image Pretraining(CLIP) 표현은 코사인 유사도에 의해 지배되는 의미적 임베딩 공간을 형성하며, 이는 내재적인 초구면 기하학을 반영한다. 그러나 기존의 확률적 해석은 일반적으로 가우시안 가정에 의존하는데, 이는 이러한 방향성 및 다중모달 구조를 포착하지 못한다. 우리는 단위 초구면 위에 정의된 von Mises-Fisher(MovMF) 혼합 분포에 기반한 CLIP 잠재 공간을 위한 원칙적인 밀도 모델을 제안한다. 기대-최대화(EM) 알고리즘을 사용하여, 각 혼합 성분이 일관된 의미 개념에 대응하는 확률적 모델을 효율적으로 학습한다. 이 공식화는 초구면 기하학과 자연스럽게 정렬된 닫힌형 가능도를 산출하여, 정확하고 해석 가능한 밀도 추정을 가능하게 한다. 실험적으로, 우리의 모델은 롱테일 및 분포 외(out-of-distribution) 탐지를 크게 개선하고, 각 임베딩을 해석 가능한 개념들의 희소 확률적 조합으로 표현하는 자연스러운 의미 분해를 제공한다. 이러한 결과는 CLIP 잠재 공간이 등방성 가우시안보다는 초구면 의미 혼합으로 더 충실하게 특성화된다는 것을 시사하며, 다중모달 표현을 모델링하고 이해하기 위한 단순하고 기하학적으로 일관된 확률적 프레임워크를 확립한다. 프로젝트 페이지는 https://xiaoyuzhizi.github.io/movmf-clip/ 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.