arXiv:2305.02496

Revisiting Graph Contrastive Learning for Anomaly Detection

Zhiyuan Liu, Chunjie Cao, Fangjian Tao, Jingzhang Sun

제출 2023-05-04

원문 초록

Combining Graph neural networks (GNNs) with contrastive learning for anomaly detection has drawn rising attention recently. Existing graph contrastive anomaly detection (GCAD) methods have primarily focused on improving detection capability through graph augmentation and multi-scale contrast modules. However, the underlying mechanisms of how these modules work have not been fully explored. We dive into the multi-scale and graph augmentation mechanism and observed that multi-scale contrast modules do not enhance the expression, while the multi-GNN modules are the hidden contributors. Previous studies have tended to attribute the benefits brought by multi-GNN to the multi-scale modules. In the paper, we delve into the misconception and propose Multi-GNN and Augmented Graph contrastive framework MAG, which unified the existing GCAD methods in the contrastive self-supervised perspective. We extracted two variants from the MAG framework, L-MAG and M-MAG. The L-MAG is the lightweight instance of the MAG, which outperform the state-of-the-art on Cora and Pubmed with the low computational cost. The variant M-MAG equipped with multi-GNN modules further improve the detection performance. Our study sheds light on the drawback of the existing GCAD methods and demonstrates the potential of multi-GNN and graph augmentation modules. Our code is available at https://github.com/liuyishoua/MAG-Framework.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.28316v2cs.CV공통 태그 Attribute, Contrastive Learning

조건부 시각적 증거 유틸리티: 동결된 비전-언어 인코더에서의 상태 의존적 순위 역전

Conditional Visual Evidence Utility: State-Dependent Rank Reversals in Frozen Vision-Language Encoders

정적 중요도 점수는 시각적 증거를 단일 순위로 압축하지만, 하나의 단서가 관측된 뒤에는 남은 증거의 가치가 바뀔 수 있다. 우리는 색상, 형태, 질감 증거를 독립적으로 노출할 수 있고 획득 상태에 걸쳐 조건부 한계 효용(conditional marginal utility)을 측정할 수 있는 통제된 구성적 시각 탐색에서 이러한 가능성을 연구한다. 800개 장면에 대한 홀드아웃 검증에서, 동결된 OpenCLIP과 SigLIP은 순서 변화를 유도하도록 설계된 후보 중첩 영역에 집중되고, 두 가지 증거 누적 구성과 10개의 동등한 쿼리 표현 전반에서 지속되며, 쿼리-장면 교란(query-scene derangement) 하에서는 거의 무작위 수준의 동작으로 붕괴하는 견고한 상태 의존적 순위 역전을 보인다. 1,200개 장면에 대한 후속 역할 균형(role-balanced) 추적 연구에서는 초기에 강한 속성, 중복을 유발하는 속성, 비교 속성의 추상적 역할을 순환시킨다. 잔여 속성-정체성 효과가 남아 있긴 하지만, 양성-음성 역전 대비(positive-minus-negative reversal contrast)는 24개의 모든 역할 순열, 백본 및 증거 모드 셀 전반에서 양의 값을 유지한다. 나아가 우리는 측정된 재계획 기회와 전향적 예측 가능성을 구분한다. 첫 행동 일치 유틸리티 분석은 남은 증거의 순위를 재조정할 상당한 기회가 있음을 보여주지만, 사후(posterior) 기반 또는 획득 임베딩 상태 표현을 사용하는 경량 예측기는 역할 균형 벤치마크에서 적합한 정적 대조군 대비 획득 상태 정보의 견고한 점진적 이점을 확립하지 못한다. 종합하면, 이러한 결과는 이 통제된 설정에서 조건부 시각적 증거 유틸리티가 신뢰할 수 있을 정도로 상태 의존적임을 보여주는 동시에, 변화하는 유틸리티의 존재와 그러한 변화가 학습된 선택기에 의해 전향적으로 예측 가능하다는 더 강한 주장을 분리한다.

arXiv:2607.22919v1cs.CV공통 태그 Attribute, Contrastive Learning

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.